Simulacija fizike v AI videu: Kako so se modeli končno naučili spoštovati resničnost

Problem košarkarske žoge

OpenAI je to popolnoma opisal ob predstavitvi Sora 2: v zgodnejših modelih bi se košarkarska žoga, če bi zgrešila koš, preprosto materializirala v mreži. Model je poznal narativni izid (žoga gre v koš), vendar ni imel koncepta fizičnih omejitev, ki bi morale voditi pot.

To ni bila manjša napaka. Bila je simptom temeljne arhitekturne omejitve. Zgodnji modeli za generiranje videa so se odlikovali v vizualnem prepoznavanju vzorcev, naučili so se generirati sličice, ki so posamezno videti verjetne, medtem ko so ostale fizično nekoherentne, ko jih gledamo v zaporedju.

Trije stebri fizičnega razumevanja

Preboj v simulaciji fizike temelji na treh medsebojno povezanih napredkih: modeliranje sveta, verižno sklepanje in izboljšani mehanizmi časovne pozornosti.

Modeli sveta v primerjavi z napovedovanjem sličic

Tradicionalno generiranje videa je obravnavalo nalogo kot zaporedno napovedovanje sličic: glede na sličice od 1 do N, napovej sličico N+1. Ta pristop ima inherentne težave s fiziko, ker nima eksplicitne reprezentacije osnovnega fizičnega stanja.

Modeli sveta zavzemajo bistveno drugačen pristop. Namesto neposrednega napovedovanja pikslov najprej sestavijo notranjo reprezentacijo fizičnega stanja scene, vključno s položaji predmetov, hitrostmi, materiali in interakcijami. Šele nato to stanje upodobijo v vizualne sličice. Ta pristop, poglobljeno raziskan v naši analizi modelov sveta, predstavlja paradigmatski premik v načinu razmišljanja o generiranju videa.

Veriga misli za video

Kling O1, izdan konec leta 2025, je uvedel verižno sklepanje v generiranje videa. Pred generiranjem sličic model eksplicitno sklepa o tem, kaj bi se moralo fizično zgoditi v sceni.

Za sceno, kjer kozarec pade z mize, model najprej sklepa:

• Kozarec ima začetno hitrost nič, položaj na robu mize
• Gravitacija pospešuje kozarec navzdol s 9,8 m/s²
• Kozarec se dotakne tal po približno 0,45 sekunde
• Material kozarca je krhek, tla so trda površina
• Udarec preseže prag loma, kozarec se razbije
• Črepinje se razpršijo z ohranitvijo zagona

Ta eksplicitni korak sklepanja se zgodi v latentnem prostoru modela, preden se generira kakršen koli piksel. Rezultat je video, ki spoštuje ne samo vizualno estetiko, temveč tudi vzročne verige.

Časovna pozornost v velikem obsegu

Arhitekturna podlaga, ki omogoča te napredke, je časovna pozornost, mehanizem, s katerim video modeli ohranjajo konsistentnost med sličicami. Arhitektura difuzijskega transformatorja, ki poganja sodobne video modele, obdeluje video kot prostorsko-časovne zakrpe, kar omogoča, da pozornost teče tako prostorsko znotraj sličic kot časovno med njimi.

Sodobni video modeli obdelajo milijone prostorsko-časovnih zakrp na video, s specializiranimi glavami pozornosti, namenjenimi fizični konsistentnosti. Ta obseg modelom omogoča sledenje identiteti predmetov in fizičnemu stanju skozi stotine sličic, ohranjanje koherence, ki je bila z zgodnejšimi arhitekturami nemogoča.

Primerjalni testi fizike v realnem svetu

Kako dejansko merimo kakovost simulacije fizike? Področje je razvilo več standardiziranih testov:

Modeli Kling so se dosledno odlikovali v dinamiki tekočin, s posebej impresivno simulacijo vode in fiziko tkanin. OpenAI-jev Sora 2 vodi v realizmu trkov in ohranitvi zagona, z impresivno natančnostjo obvladuje kompleksne interakcije več predmetov.

Test gimnastičarja

Eden najzahtevnejših fizičnih primerjalnih testov vključuje olimpijsko gimnastiko. Gimnastičar, ki izvaja prevale, prehaja skozi kompleksno rotacijsko dinamiko: ohranitev vrtilne količine, spremenljiv vztrajnostni moment, ko se udi raztezajo in krčijo, in natančno časovno določanje uporabe sile za odrive in doskoke.

Zgodnji video modeli bi generirali impresivne posamezne sličice gimnastičarjev v zraku, vendar bi katastrofalno odpovedali pri fiziki. Rotacije bi se naključno pospeševale ali upočasnjevale. Doskoki bi se zgodili na nemogočih položajih. Telo bi se deformiralo na načine, ki kršijo anatomske omejitve.

Sora 2 je izrecno izpostavil olimpijsko gimnastiko kot primerjalni test, ki ga zdaj pravilno obvladuje. Model sledi vrtilni količini gimnastičarja skozi celotno vajo, pospešuje rotacijo, ko se udi primaknejo (učinek vrtenja drsalca), in upočasnjuje, ko se raztegnejo.

Razumevanje materialov

Simulacija fizike se razteza onkraj gibanja na lastnosti materialov. Kako model ve, da se steklo razbije, medtem ko se guma odbije? Da voda pljuskne, medtem ko se olje nabira? Da se kovina plastično deformira, medtem ko les poči?

Odgovor je v podatkih za učenje in naučenih predhodnikih modela. Z učenjem na milijonih videov, ki prikazujejo materiale v interakciji s svetom, modeli razvijejo implicitno razumevanje materialov. Kozarec, ki pade na beton, proizvede drugačen izid kot kozarec, ki pade na preprogo, in sodobni modeli zajamejo to razliko.

Omejitve in robni primeri

Kljub tem napredkom simulacija fizike v AI videu ostaja nepopolna. Več znanih omejitev vztraja:

Dolgoročna stabilnost: Fizika ostane natančna 5-10 sekund, vendar lahko pri daljših trajnih odstopa. Podaljšani videi lahko postopoma kršijo zakone ohranitve.

Kompleksni sistemi več teles: Medtem ko dva predmeta, ki trčita, delujeta dobro, lahko scene z ducati predmetov v interakciji (kot padajoči stolp Jenga) povzročijo napake.

Neobičajni materiali: Pristranskosti podatkov za učenje pomenijo, da se pogosti materiali (voda, steklo, kovina) simulirajo bolje kot eksotični (nenewtonske tekočine, magnetni materiali).

Ekstremni pogoji: Fizika na zelo majhnih lestvicah (molekularni), zelo velikih lestvicah (astronomski) ali ekstremnih pogojih (blizu hitrosti svetlobe) pogosto odpove.

Posledice za ustvarjalce

Kaj izboljšana simulacija fizike pomeni za video ustvarjalce?

Prvič, dramatično zmanjša potrebo po popravkih v postprodukciji. Scene, ki so prej zahtevale skrbno urejanje za popravljanje fizičnih nemogočnosti, se zdaj pravilno generirajo že prvič.

Drugič, omogoča nove ustvarjalne možnosti. Natančna simulacija fizike pomeni, da se lahko Rube Goldbergovi stroji, športna zaporedja in akcijske scene generirajo brez mukotrpnih ročnih popravkov.

Tretjič, izboljša zaznavo gledalcev. Gledalci podzavestno zaznajo kršitve fizike, zaradi česar fizično natančni videi delujejo bolj resnično, tudi ko je razliko težko artikulirati.

Pot naprej

Simulacija fizike se bo še naprej izboljševala vzdolž več osi:

Daljša časovna konsistentnost: Trenutni modeli ohranjajo fiziko sekunde, prihodnji modeli jo bodo ohranjali minute.

Bolj kompleksne interakcije: Scene s stotinami predmetov v interakciji bodo postale izvedljive.

Naučeni fizikalni motorji: Namesto implicitne fizike iz podatkov za učenje bodo prihodnji modeli morda vključevali eksplicitno simulacijo fizike kot komponento.

Fizika v realnem času: Trenutno je generiranje, ki se zaveda fizike, počasno, vendar bi optimizacija lahko omogočila generiranje v realnem času s fizično natančnostjo.

Pot od teleportiranih košarkarskih žog do realističnih odbojev predstavlja enega najpomembnejših napredkov v generiranju AI videa. Modeli so se naučili, če ne razumeti fizike na način, kot jo razumejo ljudje, vsaj spoštovati njene omejitve. Za ustvarjalce to pomeni manj popravkov, več možnosti in videe, ki preprosto delujejo bolj resnično.