Fysikksimulering i AI-video: hvordan modeller endelig lærte å respektere virkeligheten

Basketballproblemet

OpenAI beskrev det perfekt ved lanseringen av Sora 2: i tidligere modeller, hvis en basketball bommet på kurven, materialiserte den seg ganske enkelt i nettet likevel. Modellen kjente det narrative utfallet (ballen går i kurven), men hadde ingen forståelse av de fysiske begrensningene som burde styre reisen.

Dette var ikke en liten feil. Det var symptomatisk for en fundamental arkitektonisk begrensning. Tidlige videogenereringsmodeller var utmerkede på visuell mønstergjenkjenning og lærte å generere bilder som så individuelt troverdige ut, mens de forble fysisk usammenhengende når de ble vist i sekvens.

Tre pilarer for fysisk forståelse

Gjennombruddet i fysikksimulering hviler på tre sammenkoblede fremskritt: world modeling, chain-of-thought-resonnering og forbedrede temporale oppmerksomhetsmekanismer.

World Models vs Frame Prediction

Tradisjonell videogenerering behandlet oppgaven som sekvensiell bildepredikering: gitt bilder 1 til N, forutsi bilde N+1. Denne tilnærmingen sliter naturlig med fysikk fordi den mangler eksplisitt representasjon av den underliggende fysiske tilstanden.

World models tar en fundamentalt annerledes tilnærming. I stedet for å forutsi piksler direkte, konstruerer de først en intern representasjon av scenens fysiske tilstand, inkludert objektposisjoner, hastigheter, materialer og interaksjoner. Først deretter rendrer de denne tilstanden til visuelle bilder. Denne tilnærmingen, som vi utforsker i dybden i vår world models-analyse, representerer et paradigmeskifte i hvordan vi tenker på videogenerering.

Chain of Thought for video

Kling O1, utgitt sent i 2025, introduserte chain-of-thought-resonnering til videogenerering. Før modellen genererer bilder, resonnerer den eksplisitt om hva som fysisk bør skje i scenen.

For en scene med et glass som faller fra et bord, resonnerer modellen først:

• Glasset har initial hastighet null, posisjon på bordkanten
• Tyngdekraften akselererer glasset nedover med 9,8 m/s²
• Glasset treffer gulvet etter omtrent 0,45 sekunder
• Glassmaterialet er sprøtt, gulvet er en hard overflate
• Påvirkningen overstiger bruddterskelen, glasset knuser
• Skår spres med bevegelsesmengdebevaring

Dette eksplisitte resonneringstrinnet skjer i modellens latente rom før noen piksler genereres. Resultatet er video som respekterer ikke bare visuell estetikk, men også kausale kjeder.

Temporal oppmerksomhet i stor skala

Det arkitektoniske fundamentet som muliggjør disse fremskrittene er temporal oppmerksomhet, mekanismen som videomodeller bruker for å opprettholde konsistens på tvers av bilder. Diffusion transformer-arkitekturen som driver moderne videomodeller, behandler video som romtidsoppdateringer, noe som tillater oppmerksomhet å flyte både romlig innen bilder og temporalt på tvers av dem.

Moderne videomodeller behandler millioner av romtidsoppdateringer per video, med spesialiserte oppmerksomhetshoder dedikert til fysisk konsistens. Denne skalaen gjør det mulig for modeller å spore objektidentitet og fysisk tilstand over hundrevis av bilder og opprettholde en sammenheng som var umulig med tidligere arkitekturer.

Virkelige fysikkbenchmarks

Hvordan måler vi egentlig kvaliteten på fysikksimulering? Feltet har utviklet flere standardiserte tester:

Kling-modeller har konsekvent utmerket seg i væskedynamikk, med særlig imponerende vannsimulering og stoffsimulering. OpenAIs Sora 2 leder innen kollisjonsrealisme og bevegelsesmengdebevaring og håndterer komplekse multi-objekt-interaksjoner med imponerende nøyaktighet.

Gymnastikktesten

En av de mest krevende fysikkbenchmarks involverer olympisk gymnastikk. En tumlende gymnast gjennomgår kompleks rotasjonsdynamikk: bevaring av bevegelsesmengdemoment, variabelt treghetsmoment når lemmer strekkes og trekkes inn, og presis timing av kraftanvendelse ved avspark og landing.

Tidlige videomodeller genererte imponerende individuelle bilder av gymnaster i luften, men feilet katastrofalt på fysikken. Rotasjoner akselererte eller bremset tilfeldig. Landinger skjedde i umulige posisjoner. Kroppen deformerte på måter som brøt anatomiske begrensninger.

Sora 2 fremhevet eksplisitt olympisk gymnastikk som en benchmark den nå håndterer riktig. Modellen sporer gymnastens bevegelsesmengdemoment gjennom hele øvelsen, akselererer rotasjon når lemmene trekkes inn (kunstløpsspinneffekt) og bremser når de strekkes.

Materialeforståelse

Fysikksimulering strekker seg utover bevegelse til materialeegenskaper. Hvordan vet en modell at glass knuser mens gummi spretter? At vann spruter mens olje samler seg? At metall deformeres plastisk mens tre brekker?

Svaret ligger i treningsdataene og modellens lærte priors. Ved å trene på millioner av videoer som viser materialer som interagerer med verden, utvikler modeller implisitt materialeforståelse. Et glass som faller på betong produserer et annet resultat enn glass som faller på teppe, og moderne modeller fanger denne forskjellen.

Begrensninger og grensetilfeller

Til tross for disse fremskrittene forblir fysikksimulering i AI-video ufullkommen. Flere kjente begrensninger består:

Langsiktig stabilitet: Fysikk forblir nøyaktig i 5-10 sekunder, men kan drifte over lengre varigheter. Utvidede videoer kan gradvis bryte bevaringslover.

Komplekse flerlegemesystemer: Mens to kolliderende objekter fungerer bra, kan scener med dusinvis av interagerende objekter (som et fallende Jenga-tårn) produsere feil.

Uvanlige materialer: Skjevhet i treningsdata betyr at vanlige materialer (vann, glass, metall) simulerer bedre enn eksotiske (ikke-newtonske væsker, magnetiske materialer).

Ekstreme forhold: Fysikk ved svært små skalaer (molekylær), svært store skalaer (astronomisk) eller ekstreme forhold (nær lysets hastighet) feiler ofte.

Konsekvenser for skapere

Hva betyr forbedret fysikksimulering for videoskapere?

For det første reduserer det dramatisk behovet for etterproduktionskorrigeringer. Scener som tidligere krevde nøye redigering for å korrigere fysiske umuligheter, genereres nå riktig første gang.

For det andre muliggjør det nye kreative muligheter. Nøyaktig fysikksimulering betyr at Rube Goldberg-maskiner, sportssekvenser og actionscener kan genereres uten møysommelig manuell korrigering.

For det tredje forbedrer det seerens oppfatning. Seere oppdager ubevisst fysikkovertredelser, noe som får fysisk nøyaktige videoer til å føles mer virkelige, selv når forskjellen er vanskelig å sette ord på.

Veien videre

Fysikksimulering vil fortsette å forbedre seg langs flere akser:

Lengre temporal konsistens: Nåværende modeller opprettholder fysikk i sekunder, fremtidige modeller vil opprettholde det i minutter.

Mer komplekse interaksjoner: Scener med hundrevis av interagerende objekter blir mulige.

Lærte fysikkmotorer: I stedet for implisitt fysikk fra treningsdata kan fremtidige modeller inkorporere eksplisitt fysikksimulering som en komponent.

Sanntidsfysikk: For tiden er fysikkbevisst generering treg, men optimalisering kan muliggjøre sanntidsgenerering med fysisk nøyaktighet.

Reisen fra teleporterende basketballer til realistiske sprett representerer et av de mest betydningsfulle fremskrittene i AI-videogenerering. Modeller har lært, om ikke å forstå fysikk på den måten mennesker gjør, i det minste å respektere dens begrensninger. For skapere betyr dette færre korrigeringer, flere muligheter og videoer som rett og slett føles mer virkelige.