Fysiksimulering i AI-video: hvordan modeller endelig lærte at respektere virkeligheden

Basketboldproblemet

OpenAI beskrev det perfekt ved lanceringen af Sora 2: i tidligere modeller, hvis en basketbold missede kurven, ville den simpelthen materialisere sig inde i nettet alligevel. Modellen kendte det narrative udfald (bolden går i kurven), men havde intet begreb om de fysiske begrænsninger, der burde styre rejsen.

Dette var ikke en lille fejl. Det var symptomatisk for en fundamental arkitektonisk begrænsning. Tidlige videogenerationsmodeller var fremragende til visuel mønstergenkendelse og lærte at generere billeder, der så individuelt troværdige ud, mens de forblev fysisk usammenhængende, når de blev set i sekvens.

Tre søjler i fysisk forståelse

Gennembruddet i fysiksimulering hviler på tre sammenkoblede fremskridt: world modeling, chain-of-thought-ræsonnering og forbedrede temporale opmærksomhedsmekanismer.

World Models vs Frame Prediction

Traditionel videogenerering behandlede opgaven som sekventiel billedforudsigelse: givet billeder 1 til N, forudsig billede N+1. Denne tilgang kæmper i sagens natur med fysik, fordi den ikke har nogen eksplicit repræsentation af den underliggende fysiske tilstand.

World models tager en fundamentalt anderledes tilgang. I stedet for at forudsige pixels direkte, konstruerer de først en intern repræsentation af scenens fysiske tilstand, herunder objektpositioner, hastigheder, materialer og interaktioner. Først derefter renderer de denne tilstand til visuelle billeder. Denne tilgang, som vi udforsker i dybden i vores world models-analyse, repræsenterer et paradigmeskift i, hvordan vi tænker på videogenerering.

Chain of Thought til video

Kling O1, udgivet i slutningen af 2025, introducerede chain-of-thought-ræsonnering til videogenerering. Før modellen genererer billeder, ræsonnerer den eksplicit om, hvad der fysisk burde ske i scenen.

For en scene med et glas, der falder af et bord, ræsonnerer modellen først:

• Glasset har initial hastighed nul, position på bordkanten
• Tyngdekraften accelererer glasset nedad med 9,8 m/s²
• Glasset rammer gulvet efter cirka 0,45 sekunder
• Glasmaterialet er skrøbeligt, gulvet er en hård overflade
• Stødet overstiger brudtærsklen, glasset knuses
• Skår spredes med impulsbevarelse

Dette eksplicitte ræsonneringstrin sker i modellens latente rum, før nogen pixels genereres. Resultatet er video, der respekterer ikke kun visuel æstetik, men også kausale kæder.

Temporal opmærksomhed i stor skala

Det arkitektoniske fundament, der muliggør disse fremskridt, er temporal opmærksomhed, mekanismen hvorved videomodeller opretholder konsistens på tværs af billeder. Diffusion transformer-arkitekturen, der driver moderne videomodeller, behandler video som rumtidspatches, hvilket tillader opmærksomhed at flyde både rumligt inden for billeder og temporalt på tværs af dem.

Moderne videomodeller behandler millioner af rumtidspatches per video med specialiserede opmærksomhedshoveder dedikeret til fysisk konsistens. Denne skala gør det muligt for modeller at spore objektidentitet og fysisk tilstand på tværs af hundredvis af billeder og opretholde en sammenhæng, der var umulig med tidligere arkitekturer.

Virkelige fysikbenchmarks

Hvordan måler vi egentlig kvaliteten af fysiksimulering? Feltet har udviklet flere standardiserede tests:

Kling-modeller har konsekvent udmærket sig i væskedynamik med særligt imponerende vandsimulering og stofsimulering. OpenAIs Sora 2 fører inden for kollisionsrealisme og impulsbevarelse og håndterer komplekse multi-objekt-interaktioner med imponerende nøjagtighed.

Gymnastiktesten

En af de mest krævende fysikbenchmarks involverer olympisk gymnastik. En tumlende gymnast gennemgår kompleks rotationsdynamik: bevarelse af impulsmoment, variabelt inertimoment, når lemmer strækkes og trækkes sammen, og præcis timing af kraftanvendelse ved afsæt og landing.

Tidlige videomodeller genererede imponerende individuelle billeder af gymnaster i luften, men fejlede katastrofalt på fysikken. Rotationer ville accelerere eller decelerere tilfældigt. Landinger ville ske i umulige positioner. Kroppen ville deformeres på måder, der overtrådte anatomiske begrænsninger.

Sora 2 fremhævede eksplicit olympisk gymnastik som et benchmark, den nu håndterer korrekt. Modellen sporer gymnastens impulsmoment gennem hele øvelsen, accelererer rotation, når lemmerne trækkes ind (kunstskøjteløberspineffekt), og decelererer, når de strækkes.

Materialeforståelse

Fysiksimulering strækker sig ud over bevægelse til materialeegenskaber. Hvordan ved en model, at glas knuses, mens gummi hopper? At vand sprøjter, mens olie samler sig? At metal deformeres plastisk, mens træ knækker?

Svaret ligger i træningsdataene og modellens lærte priors. Ved at træne på millioner af videoer, der viser materialer, der interagerer med verden, udvikler modeller implicit materialeforståelse. Et glas, der falder på beton, producerer et andet resultat end glas, der falder på tæppe, og moderne modeller fanger denne forskel.

Begrænsninger og kanttilfælde

På trods af disse fremskridt forbliver fysiksimulering i AI-video ufuldkommen. Flere kendte begrænsninger består:

Langsigtet stabilitet: Fysik forbliver nøjagtig i 5-10 sekunder, men kan drifte over længere varighed. Udvidede videoer kan gradvist overtræde bevarelseslove.

Komplekse flerlegemesystemer: Mens to kolliderende objekter fungerer godt, kan scener med snesevis af interagerende objekter (som et faldende Jenga-tårn) producere fejl.

Usædvanlige materialer: Bias i træningsdata betyder, at almindelige materialer (vand, glas, metal) simulerer bedre end eksotiske (ikke-newtonske væsker, magnetiske materialer).

Ekstreme forhold: Fysik ved meget små skalaer (molekylær), meget store skalaer (astronomisk) eller ekstreme forhold (nær lysets hastighed) fejler ofte.

Konsekvenser for skabere

Hvad betyder forbedret fysiksimulering for videoskabere?

For det første reducerer det dramatisk behovet for efterproduktionsrettelser. Scener, der tidligere krævede omhyggelig redigering for at korrigere fysiske umuligheder, genereres nu korrekt første gang.

For det andet muliggør det nye kreative muligheder. Nøjagtig fysiksimulering betyder, at Rube Goldberg-maskiner, sportssekvenser og actionscener kan genereres uden møjsommelig manuel korrektion.

For det tredje forbedrer det seerens opfattelse. Seere opdager ubevidst fysikovertrædelser, hvilket får fysisk nøjagtige videoer til at føles mere virkelige, selv når forskellen er svær at sætte ord på.

Vejen frem

Fysiksimulering vil fortsætte med at forbedre sig langs flere akser:

Længere temporal konsistens: Nuværende modeller opretholder fysik i sekunder, fremtidige modeller vil opretholde det i minutter.

Mere komplekse interaktioner: Scener med hundredvis af interagerende objekter bliver mulige.

Lærte fysik-engines: I stedet for implicit fysik fra træningsdata kan fremtidige modeller inkorporere eksplicit fysiksimulering som en komponent.

Realtidsfysik: I øjeblikket er fysikbevidst generering langsom, men optimering kunne muliggøre realtidsgenerering med fysisk nøjagtighed.

Rejsen fra teleporterende basketbolde til realistiske hop repræsenterer et af de mest betydningsfulde fremskridt i AI-videogenerering. Modeller har lært, hvis ikke at forstå fysik på den måde, mennesker gør, så i det mindste at respektere dens begrænsninger. For skabere betyder dette færre korrektioner, flere muligheder og videoer, der simpelthen føles mere virkelige.