Fizikai szimuláció az AI videókban: Hogyan tanulták meg végre a modellek tisztelni a valóságot

A kosárlabda probléma

Az OpenAI tökéletesen fogalmazta meg a Sora 2 bemutatásakor: a korábbi modellekben, ha egy kosárlabda elhibázta a kosarat, egyszerűen materializálódott a hálóban. A modell ismerte a narratív kimenetelt (a labda bemegy a kosárba), de fogalma sem volt azokról a fizikai korlátokról, amelyeknek az útját szabályozniuk kellene.

Ez nem csupán egy kis hiba volt. Egy alapvető architektúrális korlát tünete volt. A korai videógeneráló modellek kiválóak voltak a vizuális mintaillesztésben, megtanultak olyan képkockákat generálni, amelyek egyenként hihetőnek tűntek, miközben szekvenciában nézve fizikailag inkoherensek maradtak.

A fizikai megértés három pillére

A fizikai szimuláció áttörése három összekapcsolt fejlődésen alapul: világmodellek, gondolati lánc következtetés és továbbfejlesztett temporális figyelmi mechanizmusok.

Világmodellek vs képkocka-előrejelzés

A hagyományos videógenerálás szekvenciális képkocka-előrejelzésként kezelte a feladatot: adott az 1-től N-ig terjedő képkockák, jósold meg az N+1. képkockát. Ez a megközelítés inherensen küzd a fizikával, mert nincs explicit reprezentációja az alapul szolgáló fizikai állapotnak.

A világmodellek alapvetően más megközelítést alkalmaznak. Ahelyett, hogy közvetlenül pixeleket jósolnának, először felépítik a jelenet fizikai állapotának belső reprezentációját, beleértve a tárgyak pozícióit, sebességeit, anyagait és kölcsönhatásait. Csak ezután renderelték ezt az állapotot vizuális képkockákká. Ez a megközelítés, amelyet részletesen elemzünk a világmodellek elemzésünkben, paradigmaváltást jelent abban, hogyan gondolkodunk a videógenerálásról.

Gondolati lánc a videóhoz

A Kling O1, amely 2025 végén jelent meg, bevezette a gondolati lánc következtetést a videógenerálásba. Mielőtt képkockákat generálna, a modell explicit módon gondolkodik arról, hogy mi történjen fizikailag a jelenetben.

Egy olyan jelenetnél, ahol egy pohár leesik az asztalról, a modell először így gondolkodik:

• A pohár kezdeti sebessége nulla, pozíciója az asztal szélén
• A gravitáció lefelé gyorsítja a poharat 9,8 m/s² sebességgel
• A pohár körülbelül 0,45 másodperc után éri el a padlót
• A pohár anyaga törékeny, a padló kemény felület
• Az ütközés meghaladja a törési küszöböt, a pohár összetörik
• A szilánkok szétrepülnek a lendületmegmaradás elvének megfelelően

Ez az explicit következtetési lépés a modell látens terében történik, mielőtt bármilyen pixel generálódna. Az eredmény olyan videó, amely nem csak a vizuális esztétikát, hanem az oksági láncokat is tiszteletben tartja.

Temporális figyelem nagy léptékben

Ezeket a fejlődéseket lehetővé tevő architektúrális alap a temporális figyelem, az a mechanizmus, amellyel a videómodellek fenntartják a következetességet a képkockák között. A diffúziós transzformer architektúra, amely a modern videómodelleket működteti, a videót téridő foltokként dolgozza fel, lehetővé téve a figyelem áramlását mind térben a képkockákon belül, mind időben közöttük.

A modern videómodellek videónként több millió téridő foltot dolgoznak fel, specializált figyelmi fejekkel a fizikai következetességnek szentelve. Ez a lépték lehetővé teszi a modellek számára, hogy kövessék a tárgyak identitását és fizikai állapotát több száz képkockán keresztül, olyan koherenciát fenntartva, amely korábbi architektúrákkal lehetetlen volt.

Valós fizikai benchmarkok

Hogyan mérjük valójában a fizikai szimuláció minőségét? A terület több szabványosított tesztet fejlesztett ki:

A Kling modellek következetesen kiemelkednek a folyadékdinamikában, különösen lenyűgöző vízszimuláció és textíliafizika terén. Az OpenAI Sora 2 vezet az ütközés realizmusban és lendületmegmaradásban, lenyűgöző pontossággal kezelve a komplex több tárgyú interakciókat.

A tornász teszt

Az egyik legigényesebb fizikai benchmark az olimpiai torna. Egy bukfencező tornász komplex forgásdinamikán megy keresztül: perdületmegmaradás, változó tehetetlenségi nyomaték a végtagok kinyújtásakor és behajlításakor, és a precíz erőkifejtés időzítése az elrugaszkodásoknál és érkezéseknél.

A korai videómodellek lenyűgöző egyedi képkockákat generáltak levegőben lévő tornászokról, de katasztrofálisan kudarcot vallottak a fizikán. A forgások véletlenszerűen gyorsultak vagy lassultak. Az érkezések lehetetlen pozíciókban történtek. A test olyan módokon deformálódott, amelyek megsértették az anatómiai korlátokat.

A Sora 2 kifejezetten kiemelte az olimpiai tornát, mint benchmarkot, amelyet most már helyesen kezel. A modell követi a tornász perdületét az egész gyakorlat alatt, gyorsítva a forgást, amikor a végtagok behúzódnak (műkorcsolyázó pörgés effektus), és lassítva, amikor kinyúlnak.

Anyagmegértés

A fizikai szimuláció túlmutat a mozgáson az anyagtulajdonságok felé. Honnan tudja egy modell, hogy az üveg összetörik, míg a gumi pattan? Hogy a víz fröccsen, míg az olaj összefolyik? Hogy a fém plasztikusan deformálódik, míg a fa törik?

A válasz a képzési adatokban és a modell tanult előfeltevéseiben rejlik. Millió videón való képzéssel, amelyek anyagokat mutatnak a világgal kölcsönhatásban, a modellek implicit anyagmegértést fejlesztenek. A betonra eső üveg más eredményt produkál, mint a szőnyegre eső üveg, és a modern modellek megragadják ezt a különbséget.

Korlátok és szélsőséges esetek

Ezen fejlődések ellenére a fizikai szimuláció az AI videóban továbbra is tökéletlen. Számos ismert korlát fennáll:

Hosszú távú stabilitás: A fizika 5-10 másodpercig marad pontos, de hosszabb időtartamon eltérhet. A kiterjesztett videók fokozatosan megsérthetik a megmaradási törvényeket.

Komplex többtestes rendszerek: Míg két tárgy ütközése jól működik, a tucatnyi kölcsönható tárggyal rendelkező jelenetek (mint egy összeomló Jenga torony) hibákat produkálhatnak.

Szokatlan anyagok: A képzési adatok torzításai azt jelentik, hogy a gyakori anyagok (víz, üveg, fém) jobban szimulálódnak, mint az egzotikusak (nem-newtoni folyadékok, mágneses anyagok).

Szélsőséges körülmények: A fizika nagyon kis léptékben (molekuláris), nagyon nagy léptékben (csillagászati), vagy szélsőséges körülmények között (fénysebesség közelében) gyakran kudarcot vall.

Következmények az alkotók számára

Mit jelent a javított fizikai szimuláció a videóalkotók számára?

Először is, drámaian csökkenti az utómunka javítások szükségességét. A jelenetek, amelyek korábban gondos szerkesztést igényeltek a fizikai lehetetlenségek korrigálásához, most már elsőre helyesen generálódnak.

Másodszor, új kreatív lehetőségeket tesz lehetővé. A pontos fizikai szimuláció azt jelenti, hogy Rube Goldberg-gépeket, sportjeleneteket és akciójeleneteket lehet generálni fáradságos manuális korrekció nélkül.

Harmadszor, javítja a néző percepcióját. A nézők tudat alatt észlelik a fizikai szabálysértéseket, ami miatt a fizikailag pontos videók valósabbnak tűnnek, még akkor is, ha a különbséget nehéz megfogalmazni.

Az út előre

A fizikai szimuláció továbbra is fejlődni fog több tengely mentén:

Hosszabb temporális következetesség: A jelenlegi modellek másodpercekig tartják fenn a fizikát, a jövőbeli modellek percekig fogják.

Komplexebb interakciók: A több száz kölcsönható tárggyal rendelkező jelenetek megvalósíthatóvá válnak.

Tanult fizikai motorok: A képzési adatokból származó implicit fizika helyett a jövőbeli modellek explicit fizikai szimulációt tartalmazhatnak komponensként.

Valós idejű fizika: Jelenleg a fizika-tudatos generálás lassú, de az optimalizáció lehetővé teheti a valós idejű generálást fizikai pontossággal.

A teleportáló kosárlabdáktól a realisztikus pattanásokig vezető út az AI videógenerálás egyik legjelentősebb fejlődését képviseli. A modellek megtanulták, ha nem is úgy érteni a fizikát, ahogy az emberek, de legalább tiszteletben tartani annak korlátait. Az alkotók számára ez kevesebb korrekciót, több lehetőséget és egyszerűen valósabbnak tűnő videókat jelent.