Fysiksimulering i AI-video: hur modeller äntligen lärde sig att respektera verkligheten

Basketbollsproblemet

OpenAI beskrev det perfekt vid lanseringen av Sora 2: i tidigare modeller, om en basketboll missade korgen, materialiserades den helt enkelt i nätet ändå. Modellen kände till det narrativa utfallet (bollen går i korgen) men hade inget begrepp om de fysiska begränsningarna som borde styra resan.

Detta var inte en mindre bugg. Det var symptomatiskt för en fundamental arkitektonisk begränsning. Tidiga videogenereringsmodeller var utmärkta på visuell mönsterigenkänning och lärde sig att generera bildrutor som såg individuellt trovärdiga ut medan de förblev fysiskt inkoherenta när de visades i sekvens.

Tre pelare för fysisk förståelse

Genomsbrottet inom fysiksimulering vilar på tre sammankopplade framsteg: world modeling, chain-of-thought-resonemang och förbättrade temporala uppmärksamhetsmekanismer.

World Models vs Frame Prediction

Traditionell videogenerering behandlade uppgiften som sekventiell bildprognosering: givet bildrutor 1 till N, förutspå bildruta N+1. Detta tillvägagångssätt kämpar naturligt med fysik eftersom det saknar explicit representation av det underliggande fysiska tillståndet.

World models tar ett fundamentalt annorlunda tillvägagångssätt. Istället för att förutsäga pixlar direkt konstruerar de först en intern representation av scenens fysiska tillstånd, inklusive objektpositioner, hastigheter, material och interaktioner. Först därefter renderar de detta tillstånd till visuella bildrutor. Detta tillvägagångssätt, som vi utforskar på djupet i vår world models-analys, representerar ett paradigmskifte i hur vi tänker på videogenerering.

Chain of Thought för video

Kling O1, släppt i slutet av 2025, introducerade chain-of-thought-resonemang till videogenerering. Innan modellen genererar bildrutor resonerar den uttryckligen om vad som fysiskt bör hända i scenen.

För en scen med ett glas som faller från ett bord resonerar modellen först:

• Glaset har initial hastighet noll, position på bordskanten
• Gravitationen accelererar glaset nedåt med 9,8 m/s²
• Glaset träffar golvet efter ungefär 0,45 sekunder
• Glasmaterialet är sprött, golvet är en hård yta
• Påverkan överstiger brotttröskeln, glaset krossas
• Skärvor sprids med rörelsemängdsbevarande

Detta explicita resonemangssteg sker i modellens latenta rymd innan några pixlar genereras. Resultatet är video som respekterar inte bara visuell estetik utan också kausala kedjor.

Temporal uppmärksamhet i stor skala

Den arkitektoniska grunden som möjliggör dessa framsteg är temporal uppmärksamhet, mekanismen genom vilken videomodeller upprätthåller konsistens över bildrutor. Diffusion transformer-arkitekturen som driver moderna videomodeller bearbetar video som rumtidspatchar, vilket tillåter uppmärksamhet att flöda både rumsligt inom bildrutor och temporalt över dem.

Moderna videomodeller bearbetar miljontals rumtidspatchar per video, med specialiserade uppmärksamhetshuvuden dedikerade till fysisk konsistens. Denna skala gör det möjligt för modeller att spåra objektidentitet och fysiskt tillstånd över hundratals bildrutor och upprätthålla en koherens som var omöjlig med tidigare arkitekturer.

Verkliga fysikbenchmarks

Hur mäter vi egentligen kvaliteten på fysiksimulering? Fältet har utvecklat flera standardiserade tester:

Kling-modeller har konsekvent utmärkt sig inom vätskedynamik, med särskilt imponerande vattensimulering och tygsimulering. OpenAIs Sora 2 leder inom kollisionsrealism och rörelsemängdsbevarande och hanterar komplexa multi-objekt-interaktioner med imponerande noggrannhet.

Gymnastiktestet

En av de mest krävande fysikbenchmarks involverar olympisk gymnastik. En tumlande gymnast genomgår komplex rotationsdynamik: bevarande av rörelsemängdsmoment, variabelt tröghetsmoment när lemmar sträcks och dras in, och exakt timing av krafttillämpning vid avspark och landning.

Tidiga videomodeller genererade imponerande enskilda bildrutor av gymnaster i luften men misslyckades katastrofalt med fysiken. Rotationer accelererade eller bromsade slumpmässigt. Landningar skedde i omöjliga positioner. Kroppen deformerades på sätt som bröt mot anatomiska begränsningar.

Sora 2 lyfte uttryckligen fram olympisk gymnastik som ett benchmark den nu hanterar korrekt. Modellen spårar gymnastens rörelsemängdsmoment genom hela övningen, accelererar rotation när lemmarna dras in (konståkningsspinneffekt) och bromsar när de sträcks.

Materialförståelse

Fysiksimulering sträcker sig bortom rörelse till materialegenskaper. Hur vet en modell att glas krossas medan gummi studsar? Att vatten stänker medan olja samlas? Att metall deformeras plastiskt medan trä går av?

Svaret ligger i träningsdata och modellens inlärda priors. Genom att träna på miljontals videor som visar material som interagerar med världen utvecklar modeller implicit materialförståelse. Ett glas som faller på betong producerar ett annat utfall än glas som faller på matta, och moderna modeller fångar denna skillnad.

Begränsningar och gränsfall

Trots dessa framsteg förblir fysiksimulering i AI-video ofullkomlig. Flera kända begränsningar kvarstår:

Långsiktig stabilitet: Fysik förblir noggrann i 5-10 sekunder men kan driva över längre varaktigheter. Utökade videor kan gradvis bryta mot bevarandelagar.

Komplexa flerkroppssystem: Medan två kolliderande objekt fungerar bra kan scener med dussintals interagerande objekt (som ett fallande Jenga-torn) producera fel.

Ovanliga material: Bias i träningsdata innebär att vanliga material (vatten, glas, metall) simulerar bättre än exotiska (icke-newtonska vätskor, magnetiska material).

Extrema förhållanden: Fysik vid mycket små skalor (molekylär), mycket stora skalor (astronomisk) eller extrema förhållanden (nära ljushastigheten) misslyckas ofta.

Konsekvenser för skapare

Vad betyder förbättrad fysiksimulering för videoskapare?

För det första minskar det dramatiskt behovet av efterproduktionskorrigeringar. Scener som tidigare krävde noggrann redigering för att korrigera fysiska omöjligheter genereras nu korrekt första gången.

För det andra möjliggör det nya kreativa möjligheter. Noggrann fysiksimulering innebär att Rube Goldberg-maskiner, sportsekvenser och actionscener kan genereras utan mödosam manuell korrigering.

För det tredje förbättrar det tittarens uppfattning. Tittare upptäcker omedvetet fysikbrott, vilket gör att fysiskt korrekta videor känns mer verkliga även när skillnaden är svår att sätta ord på.

Vägen framåt

Fysiksimulering kommer att fortsätta förbättras längs flera axlar:

Längre temporal konsistens: Nuvarande modeller upprätthåller fysik i sekunder, framtida modeller kommer att upprätthålla det i minuter.

Mer komplexa interaktioner: Scener med hundratals interagerande objekt blir möjliga.

Inlärda fysikmotorer: Istället för implicit fysik från träningsdata kan framtida modeller inkorporera explicit fysiksimulering som en komponent.

Realtidsfysik: För närvarande är fysikmedveten generering långsam, men optimering kan möjliggöra realtidsgenerering med fysisk noggrannhet.

Resan från teleporterande basketbollar till realistiska studs representerar ett av de mest betydelsefulla framstegen inom AI-videogenerering. Modeller har lärt sig, om inte att förstå fysik på det sätt människor gör, åtminstone att respektera dess begränsningar. För skapare innebär detta färre korrigeringar, fler möjligheter och videor som helt enkelt känns mer verkliga.