Fysiikkasimulaatio AI-videossa: miten mallit viimein oppivat kunnioittamaan todellisuutta

Koripallo-ongelma

OpenAI kuvaili sen taydellisesti Sora 2:n lanseerauksen yhteydessa: aikaisemmissa malleissa, jos koripallo meni ohi korista, se yksinkertaisesti ilmestyi verkkoon joka tapauksessa. Malli tiesi narratiivisen lopputuloksen (pallo menee koriin), mutta silla ei ollut mitaan kasitysta fyysisista rajoitteista, joiden pitaisi ohjata matkaa.

Tama ei ollut pieni bugi. Se oli oire perustavanlaatuisesta arkkitehtuurisesta rajoituksesta. Varhaiset videogenerointimallit olivat erinomaisia visuaalisessa hahmontunnistuksessa ja oppivat tuottamaan kuvia, jotka nakyttivat yksittain uskottavilta, mutta pysyivat fyysisesti epayhtenaisina, kun niita katsottiin perakkkain.

Kolme fyysisen ymmarryksen pilaria

Lapilyonti fysiikkasimulaatiossa perustuu kolmeen toisiinsa liittyvaan edistysaskeleeseen: maailmamallintamiseen, ajatusketjupaattelyyn ja parannettuihin ajallisiin huomiomekanismeihin.

World Models vs Frame Prediction

Perinteinen videogenerointi kasitteli tehtavan perakkkaisena kuvaennustamisena: kun kuvat 1 - N on annettu, ennusta kuva N+1. Tama lahestymistapa kamppailee luonnostaan fysiikan kanssa, koska silla ei ole eksplisiittista esitysta taustalla olevasta fyysisesta tilasta.

Maailmamallit kayttavat perustavanlaatuisesti erilaista lahestymistapaa. Sen sijaan, etta ennustaisivat pikseleja suoraan, ne rakentavat ensin sisaisen esityksen kohtauksen fyysisesta tilasta, mukaan lukien esineiden sijainnit, nopeudet, materiaalit ja vuorovaikutukset. Vasta sitten ne renderoivat taman tilan visuaalisiksi kuviksi. Tama lahestymistapa, jota tutkimme syvallisesti maailmamalleja kasittelevassa analyysissa, edustaa paradigman muutosta siina, miten ajattelemme videogenerointia.

Ajatusketju videolle

Kling O1, joka julkaistiin loppuvuodesta 2025, toi ajatusketjupaattelyn videogenerointiin. Ennen kuin malli generoi kuvia, se paattelee nimenomaisesti, mita kohtauksessa pitaisi fyysisesti tapahtua.

Kohtauksessa, jossa lasi putoaa poydalta, malli paattelee ensin:

• Lasilla on alkunopeus nolla, sijainti poydan reunalla
• Painovoima kiihdyttaa lasia alaspain 9,8 m/s²
• Lasi osuu lattiaan noin 0,45 sekunnin kuluttua
• Lasimateriaali on hauras, lattia on kova pinta
• Isku ylittaa murtumiskynnyksen, lasi sarkkyy
• Sirpaleet leviavat liikemaaran sailymisen mukaisesti

Tama eksplisiittinen paattelyvaihe tapahtuu mallin latentissa tilassa ennen kuin mitaan pikseleja generoidaan. Tuloksena on video, joka kunnioittaa paitsi visuaalista estetiikkaa myos kausaaliketjuja.

Ajallinen huomio suuressa mittakaavassa

Arkkitehtuurinen perusta, joka mahdollistaa nama edistysaskeleet, on ajallinen huomio, mekanismi, jolla videomallit yllapitavat johdonmukaisuutta kuvien valilla. Diffuusiotransformeri-arkkitehtuuri, joka ohjaa moderneja videomalleja, kasittelee videota aika-avaruuspalasina, mika mahdollistaa huomion virtaamisen seka tilallisesti kuvien sisalla etta ajallisesti niiden valilla.

Modernit videomallit kasittelevat miljoonia aika-avaruuspalasia videota kohden, ja niilla on erikoistuneet huomiopaat omistettu fyysiselle johdonmukaisuudelle. Tama mittakaava mahdollistaa mallien seurata esineiden identiteettia ja fyysista tilaa satojen kuvien yli ja yllapitaa johdonmukaisuutta, joka oli mahdotonta aikaisemmilla arkkitehtuureilla.

Todelliset fysiikkabenchmarkit

Miten itse asiassa mittaamme fysiikkasimulaation laatua? Ala on kehittanyt useita standardoituja testeja:

Kling-mallit ovat johdonmukaisesti erottuneet nestodynamiikassa, erityisen vaikuttavalla vesisimulaatiolla ja kangassimulaatiolla. OpenAIn Sora 2 johtaa tormaysrealismissa ja liikemaaran sailymisessa ja kasittelee monimutkaisia usean esineen vuorovaikutuksia vaikuttavalla tarkkuudella.

Voimistelutesti

Yksi vaativimmista fysiikkabenchmarkeista koskee olympiavoimistelua. Voltteja tekeva voimistelija kokee monimutkaista pyorimisdynamiikkaa: kulmaliikemaaran sailyminen, vaihteleva hitausmomentti, kun raajat ojentuvat ja vetaytyvat, ja tarkka ajoitus voiman kaytossa ponnahduksissa ja alastuloissa.

Varhaiset videomallit tuottivat vaikuttavia yksittaisia kuvia voimistelijoista ilmassa, mutta epaonnistuivat katastrofaalisesti fysiikassa. Pyorimiset kiihtyivat tai hidastuivat satunnaisesti. Alastulot tapahtuivat mahdottomissa paikoissa. Keho muuttui tavoilla, jotka rikkoivat anatomisia rajoitteita.

Sora 2 korosti nimenomaisesti olympiavoimistelua benchmarkina, jota se nyt kasittelee oikein. Malli seuraa voimistelijan kulmaliikemaaraa lapi koko suorituksen, kiihdyttaen pyorimista, kun raajat vetaytyvat (taitoluistelupyorahdysvaikutus), ja hidastaen, kun ne ojentuvat.

Materiaalien ymmartaminen

Fysiikkasimulaatio ulottuu liikkeen yli materiaaliominaisuuksiin. Mista malli tietaa, etta lasi sarkkyy kun taas kumi kimpoaa? Etta vesi roiskuu kun taas oljy keraantyy? Etta metalli muokkautuu plastisesti kun taas puu katkeaa?

Vastaus piilee koulutustiedoissa ja mallin oppimissa priorisoinneissa. Kouluttamalla miljoonia videoita, joissa materiaalit ovat vuorovaikutuksessa maailman kanssa, mallit kehittavat implisiittisen materiaaliymmartamisen. Betonille putoava lasi tuottaa eri lopputuloksen kuin matolle putoava lasi, ja modernit mallit tallentavat taman eron.

Rajoitukset ja reunatapaukset

Naista edistysaskeleista huolimatta fysiikkasimulaatio AI-videossa pysyy epataydellisena. Useita tunnettuja rajoituksia jaa:

Pitkaaikainen vakaus: Fysiikka pysyy tarkkana 5-10 sekuntia, mutta voi ajautua pidemmilla kestoilla. Pidennetyt videot voivat vahitellen rikkoa sailymislakeja.

Monimutkaiset monikappalejArjestelmat: Vaikka kaksi tormavaa esinetta toimii hyvin, kohtaukset, joissa on kymmenia vuorovaikutteisia esineita (kuten putoava Jenga-torni), voivat tuottaa virheita.

Epatavallisia materiaaleja: Koulutustietojen vinoumat tarkoittavat, etta tavalliset materiaalit (vesi, lasi, metalli) simuloituvat paremmin kuin eksoottiset (ei-newtonilaiset nesteet, magneettiset materiaalit).

Aarimmaiset olosuhteet: Fysiikka hyvin pienissa mittakaavoissa (molekyylitaso), hyvin suurissa mittakaavoissa (astronominen) tai aarimmaisissa olosuhteissa (lahella valonnopeutta) epaonnistuu usein.

Vaikutukset tekijoille

Mita parantunut fysiikkasimulaatio tarkoittaa videotekijoille?

Ensinnäkin se vahentaa dramaattisesti jalkituotantokorjausten tarvetta. Kohtaukset, jotka aikaisemmin vaativat huolellista muokkausta fyysisten mahdottomuuksien korjaamiseksi, generoituvat nyt oikein ensimmaisella kerralla.

Toiseksi se mahdollistaa uusia luovia mahdollisuuksia. Tarkka fysiikkasimulaatio tarkoittaa, etta Rube Goldberg -koneet, urheilusekvenssit ja toimintakohtaukset voidaan generoida ilman tyolasta manuaalista korjausta.

Kolmanneksi se parantaa katsojan kaytöskokemusta. Katsojat havaitsevat tiedostamattaan fysiikkarikkomukset, mika saa fyysisesti tarkat videot tuntumaan todellisemmilta, vaikka eroa on vaikea sanallistaa.

Tie eteenpain

Fysiikkasimulaatio jatkaa parantumistaan useilla akseleilla:

Pidempi ajallinen johdonmukaisuus: Nykyiset mallit yllapitavat fysiikkaa sekunteja, tulevat mallit yllapitavat sita minuutteja.

Monimutkaisemmat vuorovaikutukset: Kohtaukset, joissa on satoja vuorovaikutteisia esineita, tulevat mahdollisiksi.

Opitut fysiikkamoottorit: Implisiittisen fysiikan sijaan koulutustiedoista tulevat mallit voivat sisallyttaa eksplisiittisen fysiikkasimulaation komponenttina.

Reaaliaikainen fysiikka: Talla hetkella fysiikkatietoinen generointi on hidasta, mutta optimointi voisi mahdollistaa reaaliaikaisen generoinnin fyysisella tarkkuudella.

Matka teleporttaavista koripalloista realistisiin kimpoamisiin edustaa yhta merkittavimmista edistysaskeleista AI-videogeneroinnissa. Mallit ovat oppineet, elleivat ymmartamaan fysiikkaa niin kuin ihmiset, ainakin kunnioittamaan sen rajoitteita. Tekijoille tama tarkoittaa vahemman korjauksia, enemman mahdollisuuksia ja videoita, jotka yksinkertaisesti tuntuvat todellisemmilta.