Füüsika simulatsioon AI videos: Kuidas mudelid lõpuks õppisid reaalsust austama

Korvpalliprobleem

OpenAI kirjeldas seda täiuslikult Sora 2 lansseerides: varasemates mudelites, kui korvpall korvist mööda läks, materialiseerus see lihtsalt võrgu sees. Mudel teadis narratiivset tulemust (pall läheb korvi), kuid tal puudus arusaam füüsikalistest piirangutest, mis peaksid teekonda juhtima.

See polnud väike viga. See oli fundamentaalse arhitektuurilise piirangu sümptom. Varased videogenereerimise mudelid paistsid silma visuaalse mustrituvastusega, õppides genereerima kaadreid, mis näevad individuaalselt usutavad välja, jäädes füüsikaliselt ebakoherentseks, kui neid järjestuses vaadata.

Kolm füüsikalise mõistmise sammast

Läbimurre füüsika simulatsioonis tugineb kolmele omavahel seotud edusammule: maailma modelleerimine, mõtteketi arutlus ja täiustatud ajalise tähelepanu mehhanismid.

Maailmamudelid vs kaadriennustamine

Traditsiooniline videogenereerimine käsitles ülesannet järjestikuse kaadriennustamisena: antud kaadrid 1 kuni N, ennusta kaadrit N+1. See lähenemine võitleb olemuslikult füüsikaga, kuna sellel puudub selge esitus aluseks olevast füüsikalisest seisundist.

Maailmamudelid võtavad fundamentaalselt erineva lähenemise. Selle asemel, et ennustada piksleid otse, konstrueerivad nad esmalt stseeni füüsikalise seisundi sisemise esituse, sealhulgas objektide positsioonid, kiirused, materjalid ja interaktsioonid. Alles siis renderdavad nad selle seisundi visuaalseteks kaadriteks. See lähenemine, mida uuriti süvitsi meie maailmamudelite analüüsis, esindab paradigma nihet selles, kuidas me videogenereerimisest mõtleme.

Mõttekett video jaoks

Kling O1, mis ilmus 2025. aasta lõpus, tutvustas mõtteketi arutlust videogenereerimises. Enne kaadrite genereerimist arutleb mudel selgelt selle üle, mis stseenis füüsikaliselt peaks juhtuma.

Stseeni jaoks, kus klaas kukub laualt, arutleb mudel esmalt:

• Klaasil on algkiirus null, positsioon laua serval
• Gravitatsioon kiirendab klaasi alla 9,8 m/s²
• Klaas puudutab põrandat umbes 0,45 sekundi pärast
• Klaasi materjal on habras, põrand on kõva pind
• Löök ületab purunemisläve, klaas puruneb
• Killud lendavad laiali impulsi jäävusega

See selge arutlussamm toimub mudeli latentses ruumis enne ühegi piksli genereerimist. Tulemuseks on video, mis austab mitte ainult visuaalset esteetikat, vaid ka põhjuslikke ahelaid.

Ajaline tähelepanu mastaabis

Arhitektuuriline alus, mis neid edusamme võimaldab, on ajaline tähelepanu, mehhanism, millega videomudelid säilitavad järjepidevust läbi kaadrite. Difusioonitransformeri arhitektuur, mis toetab kaasaegseid videomudeleid, töötleb videot ruumi-aja paikadena, võimaldades tähelepanul voolata nii ruumiliselt kaadrites kui ajaliselt nende vahel.

Kaasaegsed videomudelid töötlevad miljoneid ruumi-aja paiku video kohta, spetsialiseeritud tähelepanupäistega, mis on pühendatud füüsikalisele järjepidevusele. See mastaap võimaldab mudelitel jälgida objekti identiteeti ja füüsikalist seisundit läbi sadade kaadrite, säilitades koherentsust, mis oli varasemate arhitektuuridega võimatu.

Reaalse maailma füüsika võrdlustestid

Kuidas me tegelikult mõõdame füüsika simulatsiooni kvaliteeti? Valdkond on välja töötanud mitu standardiseeritud testi:

Kling mudelid on järjekindlalt silma paistnud vedelike dünaamikas, eriti muljetavaldava vee simulatsiooni ja riide füüsikaga. OpenAI Sora 2 juhib kokkupõrgete realismis ja impulsi jäävuses, käsitledes keerulisi mitme objekti interaktsioone muljetavaldava täpsusega.

Võimleja test

Üks nõudlikumaid füüsika võrdlusteste hõlmab olümpiavõimlemist. Salto tegev võimleja läbib keerulise pöörlemisdünaamika: impulsimomendi jäävus, muutuv inertsimoment, kui jäsemed sirutuvad ja tõmbuvad kokku, ning täpne jõu rakendamise ajastus äratõugete ja maandumiste jaoks.

Varased videomudelid genereerisid muljetavaldavaid üksikuid kaadreid võimlejatest õhus, kuid ebaõnnestusid katastroofiliselt füüsikas. Pöörlemised kiirendusid või aeglustusid juhuslikult. Maandumised toimusid võimatutes positsioonides. Keha deformeerus viisidel, mis rikkusid anatoomilisi piiranguid.

Sora 2 tõstis selgelt esile olümpiavõimlemist võrdlustestina, mida ta nüüd korrektselt käsitleb. Mudel jälgib võimleja impulsimomenti läbi kogu kava, kiirendades pöörlemist, kui jäsemed tõmbuvad kokku (uisutaja keerutusefekt) ja aeglustades, kui need sirutuvad.

Materjalide mõistmine

Füüsika simulatsioon ulatub liikumisest kaugemale materjalide omadusteni. Kuidas mudel teab, et klaas puruneb, samas kui kumm põrkab? Et vesi pritsib, samas kui õli koguneb? Et metall deformeerub plastiliselt, samas kui puit murdub?

Vastus peitub treeningandmetes ja mudeli õpitud eelduses. Treenides miljonitel videotel, mis näitavad materjale maailmaga suhtlemas, arendavad mudelid kaudse materjalide mõistmise. Betoonile kukkuv klaas toodab erineva tulemuse kui vaibale kukkuv klaas, ja kaasaegsed mudelid tabavad seda eristust.

Piirangud ja äärejuhtumid

Vaatamata nendele edusammudele jääb füüsika simulatsioon AI videos ebatäiuslikuks. Mitu teadaolevat piirangut püsib:

Pikaajaline stabiilsus: Füüsika jääb täpseks 5-10 sekundit, kuid võib pikemate kestuste jooksul triivida. Pikendatud videod võivad järk-järgult rikkuda jäävusseadusi.

Keerulised mitmekehalised süsteemid: Kuigi kaks kokkupõrkavat objekti töötavad hästi, võivad stseenid kümnete interakteeruvate objektidega (nagu kukkuv Jenga torn) tekitada vigu.

Ebatavalised materjalid: Treeningandmete kallutatus tähendab, et tavalised materjalid (vesi, klaas, metall) simuleeruvad paremini kui eksootilised (mitte-Newtoni vedelikud, magnetilised materjalid).

Äärmuslikud tingimused: Füüsika väga väikestes mõõtkavades (molekulaarne), väga suurtes mõõtkavades (astronoomiline) või äärmuslikes tingimustes (valguse kiiruse lähedal) ebaõnnestub sageli.

Mõju loojatele

Mida tähendab täiustatud füüsika simulatsioon videoloojatele?

Esiteks vähendab see dramaatiliselt vajadust järeltöötluse paranduste järele. Stseenid, mis varem nõudsid hoolikat redigeerimist füüsiliste võimatuste parandamiseks, genereeruvad nüüd esimesel korral korrektselt.

Teiseks võimaldab see uusi loomingulisi võimalusi. Täpne füüsika simulatsioon tähendab, et Rube Goldbergi masinaid, spordijärjestusi ja tegevusstseene saab genereerida ilma vaevaka käsitsi parandamiseta.

Kolmandaks parandab see vaatajate taju. Vaatajad tuvastavad alateadlikult füüsika rikkumisi, muutes füüsikaliselt täpsed videod reaalsemaks, isegi kui erinevust on raske sõnastada.

Tee ees

Füüsika simulatsioon jätkab paranemist mitmel teljel:

Pikem ajaline järjepidevus: Praegused mudelid säilitavad füüsikat sekunditeks, tulevased mudelid säilitavad seda minutiteks.

Keerulisemad interaktsioonid: Stseenid sadade interakteeruvate objektidega muutuvad teostatavaks.

Õpitud füüsikamootorid: Selle asemel, et kasutada kaudset füüsikat treeningandmetest, võivad tulevased mudelid sisaldada selget füüsika simulatsiooni komponendina.

Reaalajas füüsika: Praegu on füüsikateadlik genereerimine aeglane, kuid optimeerimine võiks võimaldada reaalajas genereerimist füüsikalise täpsusega.

Teekond teleporteeruvatest korvpallidest realistlike põrgeteni esindab üht olulisemat edusammu AI videogenereerimises. Mudelid on õppinud, kui mitte mõistma füüsikat nii nagu inimesed seda teevad, siis vähemalt austama selle piiranguid. Loojate jaoks tähendab see vähem parandusi, rohkem võimalusi ja videosid, mis lihtsalt tunduvad reaalsemad.