Fizikos simuliacija AI vaizdo įrašuose: kaip modeliai pagaliau išmoko paisyti realybės

Krepšinio problema

Pristatydama Sora 2, OpenAI tai apibūdino puikiai: ankstesniuose modeliuose, jei krepšinio kamuolys nepataikydavo į lanką, jis vis tiek paprasčiausiai materializuodavosi tinklelyje. Modelis žinojo pasakojimo baigtį (kamuolys patenka į krepšį), tačiau neturėjo supratimo apie fizinius apribojimus, kurie turėtų valdyti šią kelionę.

Tai nebuvo smulki klaida. Ji rodė esminį architektūrinį apribojimą. Ankstyvieji vaizdo įrašų generavimo modeliai puikiai atpažino vaizdinius raštus, išmoko generuoti pavieniui įtikinamai atrodančius kadrus, tačiau žiūrint juos nuosekliai išlikdavo fiziškai nenuoseklūs.

Trys fizinio supratimo ramsčiai

Fizikos simuliacijos proveržis remiasi trimis tarpusavyje susijusiais pasiekimais: pasaulio modeliavimu, chain-of-thought samprotavimu ir patobulintais laikinio dėmesio mechanizmais.

Pasaulio modeliai ir kadrų prognozavimas

Tradicinis vaizdo įrašų generavimas užduotį traktavo kaip nuoseklų kadrų prognozavimą: gavus 1 iki N kadrus, prognozuojamas N+1 kadras. Šiam metodui iš esmės sunku valdyti fiziką, nes jis neturi aiškios pagrindinės fizinės būsenos reprezentacijos.

Pasaulio modeliai taiko iš esmės kitokį metodą. Užuot tiesiogiai prognozavę pikselius, jie pirmiausia sukuria vidinę scenos fizinės būsenos reprezentaciją, įskaitant objektų padėtis, greičius, medžiagas ir sąveikas. Tik tada ši būsena paverčiama vaizdiniais kadrais. Šis metodas, išsamiai nagrinėjamas mūsų pasaulio modelių analizėje, žymi paradigmos pokytį mūsų požiūryje į vaizdo įrašų generavimą.

Chain of Thought vaizdo įrašams

Kling O1, išleistas 2025 m. pabaigoje, į vaizdo įrašų generavimą įtraukė chain-of-thought samprotavimą. Prieš generuodamas kadrus, modelis aiškiai svarsto, kas scenoje turėtų vykti fiziškai.

Scenoje, kur stiklinė nukrenta nuo stalo, modelis pirmiausia samprotauja:

• Stiklinės pradinis greitis yra nulis, jos padėtis yra ant stalo krašto
• Gravitacija spartina stiklinę žemyn 9.8 m/s²
• Stiklinė grindis pasiekia maždaug po 0.45 sekundės
• Stiklinės medžiaga yra trapi, grindys yra kietas paviršius
• Smūgis viršija lūžio ribą, stiklinė sudūžta
• Šukės išsisklaido, išlaikant impulsą

Šis aiškus samprotavimo žingsnis vyksta modelio latentinėje erdvėje prieš sugeneruojant bet kokius pikselius. Rezultatas yra vaizdo įrašas, paisantis ne tik vizualinės estetikos, bet ir priežastinių grandinių.

Didelio masto laikinasis dėmesys

Architektūrinis pagrindas, leidžiantis pasiekti šiuos rezultatus, yra laikinasis dėmesys, mechanizmas, kuriuo vaizdo modeliai išlaiko nuoseklumą tarp kadrų. Difuzinės transformerių architektūros, kuri valdo šiuolaikinius vaizdo modelius, principas yra apdoroti vaizdo įrašą kaip erdvėlaikio blokus, leidžiant dėmesiui judėti tiek erdviškai kadrų viduje, tiek laikiškai tarp jų.

Šiuolaikiniai vaizdo modeliai vienam vaizdo įrašui apdoroja milijonus erdvėlaikio blokų, o specializuotos dėmesio galvutės skirtos fiziniam nuoseklumui. Toks mastas leidžia modeliams sekti objektų tapatybę ir fizinę būseną per šimtus kadrų, išlaikant darną, kuri buvo neįmanoma ankstesnėse architektūrose.

Realiojo pasaulio fizikos etalonai

Kaip iš tikrųjų matuojame fizikos simuliacijos kokybę? Šioje srityje sukurti keli standartizuoti testai:

Kling modeliai nuosekliai pasižymi skysčių dinamikoje, ypač įspūdinga vandens simuliacija ir audinio fizika. OpenAI Sora 2 pirmauja susidūrimų tikroviškumo ir impulso tvermės srityse, įspūdingai tiksliai valdydama sudėtingas kelių objektų sąveikas.

Gimnasto testas

Vienas reikliausių fizikos etalonų apima olimpinę gimnastiką. Salto atliekantis gimnastas patiria sudėtingą sukimosi dinamiką: kampinio impulso tvermę, kintamą inercijos momentą galūnėms išsitiesiant ir susitraukiant, taip pat tikslų jėgos panaudojimo laiką atsispyrimams ir nusileidimams.

Ankstyvieji vaizdo modeliai sukurdavo įspūdingus pavienius ore esančių gimnastų kadrus, tačiau visiškai žlugdavo fizikos srityje. Sukimasis atsitiktinai greitėdavo arba lėtėdavo. Nusileidimai vykdavo neįmanomose vietose. Kūnas deformuodavosi taip, kad pažeisdavo anatominius apribojimus.

Sora 2 aiškiai nurodė olimpinę gimnastiką kaip etaloną, kurį dabar apdoroja teisingai. Modelis seka gimnasto kampinį impulsą per visą pratimą, spartindamas sukimąsi, kai galūnės pritraukiamos (dailiojo čiuožėjo sukimosi efektas), ir lėtindamas jį, kai jos ištiesiamos.

Medžiagų supratimas

Fizikos simuliacija apima ne tik judėjimą, bet ir medžiagų savybes. Kaip modelis žino, kad stiklas dūžta, o guma atšoka? Kad vanduo tykšta, o aliejus telkiasi? Kad metalas deformuojasi plastiškai, o mediena lūžta?

Atsakymas slypi mokymo duomenyse ir modelio išmoktose išankstinėse žiniose. Mokomi iš milijonų vaizdo įrašų, kuriuose medžiagos sąveikauja su pasauliu, modeliai išsiugdo numanomą medžiagų supratimą. Ant betono nukritusi stiklinė sukelia kitokią baigtį nei ant kilimo nukritusi stiklinė, o šiuolaikiniai modeliai šį skirtumą užfiksuoja.

Apribojimai ir ribiniai atvejai

Nepaisant šių pasiekimų, fizikos simuliacija AI vaizdo įrašuose tebėra netobula. Išlieka keli žinomi apribojimai:

Ilgalaikis stabilumas: Fizika išlieka tiksli 5-10 sekundžių, tačiau per ilgesnę trukmę gali nukrypti. Ilgesni vaizdo įrašai gali palaipsniui pažeisti tvermės dėsnius.

Sudėtingos kelių kūnų sistemos: Nors dviejų susiduriančių objektų atvejai veikia gerai, scenose su dešimtimis sąveikaujančių objektų (pavyzdžiui, griūvančiu Jenga bokštu) gali atsirasti klaidų.

Neįprastos medžiagos: Mokymo duomenų paklaidos reiškia, kad įprastos medžiagos (vanduo, stiklas, metalas) simuliuojamos geriau nei egzotiškos (neniutoniniai skysčiai, magnetinės medžiagos).

Ekstremalios sąlygos: Fizika labai mažais masteliais (molekuliniu), labai dideliais masteliais (astronominiu) arba ekstremaliomis sąlygomis (artėjant prie šviesos greičio) dažnai neveikia.

Pasekmės kūrėjams

Ką patobulinta fizikos simuliacija reiškia vaizdo įrašų kūrėjams?

Pirma, ji gerokai sumažina poreikį taisyti medžiagą po gamybos. Scenos, kurioms anksčiau reikėdavo kruopštaus montavimo norint ištaisyti fizinius neįmanomumus, dabar teisingai sugeneruojamos iš pirmo karto.

Antra, ji leidžia naujas kūrybines galimybes. Tiksli fizikos simuliacija reiškia, kad Rube Goldberg mašinos, sporto sekos ir veiksmo scenos gali būti generuojamos be varginančių rankinių pataisymų.

Trečia, ji pagerina žiūrovų suvokimą. Žiūrovai pasąmoningai pastebi fizikos pažeidimus, todėl fiziškai tikslūs vaizdo įrašai atrodo realesni, net kai skirtumą sunku aiškiai nusakyti.

Kelias į priekį

Fizikos simuliacija toliau gerės keliomis kryptimis:

Ilgesnis laikinasis nuoseklumas: Dabartiniai modeliai fiziką išlaiko kelias sekundes, o būsimi modeliai ją išlaikys minutes.

Sudėtingesnės sąveikos: Taps įmanomos scenos su šimtais sąveikaujančių objektų.

Išmokti fizikos varikliai: Užuot pasikliovę numanoma fizika iš mokymo duomenų, būsimi modeliai gali įtraukti aiškią fizikos simuliaciją kaip komponentą.

Realaus laiko fizika: Šiuo metu fiziką suprantantis generavimas yra lėtas, tačiau optimizavimas galėtų sudaryti sąlygas generuoti realiuoju laiku ir išlaikyti fizinį tikslumą.

Kelias nuo teleportuojamų krepšinio kamuolių iki tikroviškų atšokimų yra vienas reikšmingiausių AI vaizdo įrašų generavimo pasiekimų. Modeliai išmoko, jei ne suprasti fiziką taip, kaip ją supranta žmonės, tai bent paisyti jos apribojimų. Kūrėjams tai reiškia mažiau pataisymų, daugiau galimybių ir vaizdo įrašus, kurie tiesiog atrodo tikresni.