World Models: A következő határ az AI videógenerálásban

Képkockáktól a világokig

A hagyományos videógenerálási modellek úgy működnek, mint kifinomult flipp-könyv művészek. Előrejelzik, hogyan kell kinéznie a következő képkockának az előzők alapján, a szöveges promptja vezérelésével. Működik, de alapvető korlátai vannak.

A world modelek más megközelítést alkalmaznak. Ahelyett, hogy azt kérdeznék, "hogyan kell kinéznie a következő képkockának?", azt kérdezik, "hogyan viselkedik ez a környezet?" A különbség finomnak tűnik, de mindent megváltoztat.

Amikor megmondod egy képkocka-előrejelzőnek, hogy generáljon egy dombon legörgő labdát, közelíti, hogyan nézhet ki az a betanítási adatok alapján. Amikor ugyanezt mondod egy world modelnek, szimulálja a fizikát: a gravitáció gyorsítja a labdát, a fűvel való súrlódás lassítja, a lendület felviszi az ellentétes lejtőre.

Mit csinál valójában a Runway GWM-1-je

A Runway 2025 decemberében kiadta a GWM-1-et (General World Model 1), és ez az első nyilvános lépésüket jelenti a világ-szimuláció felé. A model olyan dolgot hoz létre, amit "dinamikus szimulációs környezeteknek" neveznek - olyan rendszereket, amelyek megértik nemcsak azt, hogyan néznek ki a dolgok, hanem azt is, hogyan fejlődnek idővel.

Az időzítés számít. Ez a kiadás egybeesett azzal, hogy a Gen-4.5 elérte az 1. helyet a Video Arenán, leszorítva az OpenAI Sora 2-t a 4. helyre. Ezek nem független eredmények. A Gen-4.5 fejlesztései a fizikai pontosságban, ahol az objektumok realisztikus súllyal, lendülettel és erővel mozognak, valószínűleg a world model kutatásból származnak, amely tájékoztatja az architektúráját.

Miért változtat ez meg mindent

1. Fizika, ami tényleg működik

A jelenlegi videomodellek nehezen birkóznak a fizikával, mert csak látták a fizikát, soha nem tapasztalták. Tudják, hogy egy leejtett tárgy esik, de közelítik a pályát, ahelyett hogy kiszámítanák. A world modelek megfordítják ezt a kapcsolatot.

Ezért nyűgözték le az embereket a Sora 2 fizikai szimulációi: az OpenAI komolyan befektetett a fizikai megértésbe. A world modelek formalizálják ezt a megközelítést.

2. Időbeli koherencia trükkök nélkül

Az AI videó legnagyobb fájdalompontja az időbeli konzisztencia volt. A karakterek megjelenése változik, az objektumok teleportálnak, a környezetek véletlenszerűen eltolódnak. Megvizsgáltuk, hogyan tanulják meg a modelek megjegyezni az arcokat olyan építészeti innovációkon keresztül, mint a cross-frame attention.

A world modelek elegánsabb megoldást kínálnak: ha a szimuláció entitásokat követ nyomon, mint egy virtuális térben lévő állandó objektumokat, nem változhatnak vagy tűnhetnek el véletlenszerűen. A labda létezik a szimulált világban. Tulajdonságai vannak (méret, szín, pozíció, sebesség), amelyek addig maradnak, amíg valami a szimulációban meg nem változtatja őket.

3. Hosszabb videók válnak lehetővé

A jelenlegi modelek idővel leromlanak. A CraftStory kétirányú diffúziója 5 perces videók felé törekszik azáltal, hogy a későbbi képkockák befolyásolják a korábbiakat. A world modelek ugyanazt a problémát másképp közelítik meg: ha a szimuláció stabil, olyan sokáig futtathatja, ameddig akarja.

A csapda (mindig van csapda)

A world modelek úgy hangzanak, mint minden videógenerálási probléma megoldása. Nem azok, legalábbis még nem.

Számítási költség

Egy világ szimulálása drága. A képkocka-előrejelzés futhat fogyasztói GPU-kon olyan projekteknek köszönhetően, mint az LTX-2. A világ-szimuláció állapot fenntartását, objektumkövetést, fizikai számításokat igényel. Ez jelentősen felnyomja a hardverkövetelményeket.

A világ szabályainak megtanítása nehéz

Egy modellt megtanítani arra, hogyan néznek ki a dolgok egyszerű: mutass neki millió példát. Egy modellt megtanítani arra, hogyan működik a világ homályosabb. A fizika tanulható videó adatokból, de csak bizonyos mértékig. A model látja, hogy a leejtett objektumok esnek, de nem tudja levezetni a gravitációs állandókat felvételek nézéséből.

Kreatív kontroll kérdések

Ha a model fizikát szimulál, ki dönti el, milyen fizikát? Néha realisztikus gravitációt akarsz. Néha azt akarod, hogy a karaktereid lebegjenek. A world modeleknek mechanizmusokra van szükségük a szimulációik felülbírálására, amikor az alkotók irreális kimeneteket akarnak.

Hová tart az iparág

A Runway nincs egyedül ebben az irányban. A diffusion transformerek mögötti architektúra-cikkek hónapok óta sejtették ezt az elmozdulást. A kérdés mindig az volt, hogy mikor, nem hogy ha.

A vállalati érdeklődés árulkodó. A Runway korai hozzáférést adott az Ubisoftnak, a Disney egymilliárd dollárt fektetett be az OpenAI-ba Sora integrációra. Ezek nem olyan cégek, amelyek gyors közösségi média klipek generálásában érdekeltek. Olyan AI-t akarnak, amely játékkörnyezeteket szimulálhat, konzisztens animált karaktereket generálhat, olyan tartalmat produkálhat, amely kiállja a szakmai vizsgálatot.

Mit jelent ez az alkotók számára

• ✓A videó konzisztencia drasztikusan javul majd
• ✓A fizikailag igényes tartalom életképessé válik
• ✓Hosszabb generálások minőség-összeomlás nélkül
• ○A költségek kezdetben magasabbak lesznek, mint a képkocka-előrejelzésnél
• ○A kreatív kontroll mechanizmusok még fejlődnek

Ha ma AI videót készít, a world modelek nem olyasmik, amiket azonnal el kell fogadnia. De figyelemmel kell kísérnie. A Sora 2, Runway és Veo 3 összehasonlítás, amit az év elején publikáltunk, frissítésre fog szorulni, ahogy a world model képességek bevezetésre kerülnek ezeken a platformokon.

A jelenlegi gyakorlati használatnál a különbségek számítanak konkrét felhasználási esetekre:

• Termék vizualizáció: A world modelek itt fognak kiválóak lenni. Pontos fizika az egymással interakcióba lépő objektumokhoz.
• Absztrakt művészet: A képkocka-előrejelzés valójában előnyösebb lehet. Váratlan vizuális kimeneteket akarsz, nem szimulált valóságot.
• Karakter animáció: A world modelek plusz identitást megőrző technikák végre megoldhatják a konzisztencia problémát.

A nagyobb kép

A world modelek az AI videó felnőtté válását jelentik. A képkocka-előrejelzés elegendő volt rövid klipek, vizuális újdonságok, proof-of-concept bemutatók generálásához. A világ-szimuláció az, amire szükséged van valódi produkciós munkához, ahol a tartalomnak konzisztensnek, fizikailag elfogadhatónak és bővíthetőnek kell lennie.

Az, hogy a Runway egy 100 fős csapattal legyőzi a Google-t és az OpenAI-t a benchmarkokon, valamit fontosat mond nekünk: a megfelelő építészeti megközelítés többet számít, mint az erőforrások. A world modelek lehetnek az a megközelítés. Ha a Runway fogadása bejön, ők definiálták a videó AI következő generációját.

És ha a fizikai szimulációk elég jók lesznek? Már nem csak videót generálunk. Virtuális világokat építünk, egy szimulációt egyszerre.