Fysicasimulatie in AI-video: hoe modellen eindelijk de werkelijkheid respecteren

Het basketbalprobleem

OpenAI beschreef het perfect bij de lancering van Sora 2: in eerdere modellen, als een basketbal de ring miste, materialiseerde hij simpelweg toch in het net. Het model kende de narratieve uitkomst (bal gaat in basket) maar had geen enkel concept van de fysieke beperkingen die de reis zouden moeten bepalen.

Dit was geen kleine bug. Het was symptomatisch voor een fundamentele architecturale beperking. Vroege videogeneratiemodellen waren uitstekend in visuele patroonherkenning en leerden frames te genereren die individueel aannemelijk leken, maar fysiek incoherent waren wanneer je ze achter elkaar bekeek.

Drie pijlers van fysiek begrip

De doorbraak in fysicasimulatie rust op drie onderling verbonden ontwikkelingen: world modeling, chain-of-thought redenering en verbeterde temporele aandachtsmechanismen.

World Models vs Frame Prediction

Traditionele videogeneratie behandelde de taak als sequentiële framepredictie: gegeven frames 1 tot en met N, voorspel frame N+1. Deze aanpak worstelt inherent met fysica omdat er geen expliciete representatie is van de onderliggende fysieke toestand.

World models pakken het fundamenteel anders aan. In plaats van pixels direct te voorspellen, construeren ze eerst een interne representatie van de fysieke toestand van de scène, inclusief objectposities, snelheden, materialen en interacties. Pas daarna renderen ze deze toestand naar visuele frames. Deze aanpak, diepgaand onderzocht in onze world models analyse, vertegenwoordigt een paradigmaverschuiving in hoe we over videogeneratie denken.

Chain of Thought voor video

Kling O1, uitgebracht eind 2025, introduceerde chain-of-thought redenering voor videogeneratie. Voordat het model frames genereert, redeneert het expliciet over wat er fysiek zou moeten gebeuren in de scène.

Voor een scène waarin een glas van een tafel valt, redeneert het model eerst:

• Glas heeft initiële snelheid nul, positie op tafelrand
• Zwaartekracht versnelt het glas naar beneden met 9,8 m/s²
• Glas raakt de vloer na ongeveer 0,45 seconden
• Glasmateriaal is bros, vloer is hard oppervlak
• Impact overschrijdt breukdrempel, glas verbrijzelt
• Scherven verspreiden met behoud van impuls

Deze expliciete redeneerstap vindt plaats in de latente ruimte van het model voordat er pixels worden gegenereerd. Het resultaat is video die niet alleen visuele esthetiek respecteert, maar ook causale ketens.

Temporele aandacht op schaal

De architecturale basis die deze ontwikkelingen mogelijk maakt is temporele aandacht, het mechanisme waarmee videomodellen consistentie over frames behouden. De diffusion transformer architectuur die moderne videomodellen aandrijft, verwerkt video als ruimtetijd-patches, waardoor aandacht zowel ruimtelijk binnen frames als temporeel over frames kan stromen.

Moderne videomodellen verwerken miljoenen ruimtetijd-patches per video, met gespecialiseerde aandachtskoppen gewijd aan fysieke consistentie. Deze schaal stelt modellen in staat om objectidentiteit en fysieke toestand over honderden frames te volgen, met een coherentie die met eerdere architecturen onmogelijk was.

Echte fysicabenchmarks

Hoe meten we daadwerkelijk de kwaliteit van fysicasimulatie? Het vakgebied heeft verschillende gestandaardiseerde tests ontwikkeld:

Kling-modellen hebben consequent uitgeblonken in vloeistofdynamica, met bijzonder indrukwekkende watersimulatie en stofsimulatie. OpenAI's Sora 2 leidt in botsingsrealisme en impulsbehoud, en handelt complexe multi-object interacties met indrukwekkende nauwkeurigheid af.

De turntest

Een van de meest veeleisende fysicabenchmarks betreft olympisch turnen. Een tuimelende turner ondergaat complexe rotatiedynamica: behoud van impulsmoment, variabel traagheidsmoment wanneer ledematen strekken en intrekken, en precieze timing van krachttoepassingen voor afzetten en landen.

Vroege videomodellen genereerden indrukwekkende individuele frames van turners in de lucht, maar faalden catastrofaal op de fysica. Rotaties versnelden of vertraagden willekeurig. Landingen vonden plaats op onmogelijke posities. Het lichaam vervormde op manieren die anatomische beperkingen schonden.

Sora 2 benadrukte expliciet olympisch turnen als een benchmark die het nu correct afhandelt. Het model volgt het impulsmoment van de turner door de hele oefening, versnelt de rotatie wanneer ledematen intrekken (schaatsspineffect) en vertraagt wanneer ze strekken.

Materiaalbegrip

Fysicasimulatie gaat verder dan beweging naar materiaaleigenschappen. Hoe weet een model dat glas verbrijzelt terwijl rubber stuitert? Dat water spat terwijl olie poelt? Dat metaal plastisch vervormt terwijl hout breekt?

Het antwoord ligt in de trainingsdata en de geleerde priors van het model. Door te trainen op miljoenen video's waarin materialen interacteren met de wereld, ontwikkelen modellen impliciet materiaalbegrip. Een glas dat op beton valt produceert een ander resultaat dan glas dat op tapijt valt, en moderne modellen vangen dit onderscheid.

Beperkingen en randgevallen

Ondanks deze vooruitgang blijft fysicasimulatie in AI-video onvolmaakt. Er blijven verschillende bekende beperkingen:

Langetermijnstabiliteit: Fysica blijft nauwkeurig voor 5-10 seconden maar kan afdrijven over langere duur. Uitgebreide video's kunnen geleidelijk behoudswetten schenden.

Complexe meervoudige systemen: Terwijl twee botsende objecten goed werken, kunnen scènes met tientallen interacterende objecten (zoals een vallende Jenga-toren) fouten produceren.

Ongewone materialen: Bias in trainingsdata betekent dat gewone materialen (water, glas, metaal) beter simuleren dan exotische (niet-Newtoniaanse vloeistoffen, magnetische materialen).

Extreme omstandigheden: Fysica op zeer kleine schalen (moleculair), zeer grote schalen (astronomisch) of extreme omstandigheden (bijna lichtsnelheid) faalt vaak.

Implicaties voor creators

Wat betekent verbeterde fysicasimulatie voor videocreators?

Ten eerste vermindert het dramatisch de noodzaak voor postproductiecorrecties. Scènes die voorheen zorgvuldige bewerking vereisten om fysieke onmogelijkheden te corrigeren, genereren nu de eerste keer correct.

Ten tweede maakt het nieuwe creatieve mogelijkheden mogelijk. Nauwkeurige fysicasimulatie betekent dat Rube Goldberg-machines, sportsequenties en actiescènes kunnen worden gegenereerd zonder moeizame handmatige correctie.

Ten derde verbetert het de kijkerservaring. Kijkers detecteren onbewust fysicaschendingen, waardoor fysiek accurate video's realistischer aanvoelen, zelfs wanneer het verschil moeilijk te verwoorden is.

De weg vooruit

Fysicasimulatie zal blijven verbeteren langs meerdere assen:

Langere temporele consistentie: Huidige modellen behouden fysica voor seconden, toekomstige modellen zullen dit voor minuten behouden.

Complexere interacties: Scènes met honderden interacterende objecten worden haalbaar.

Geleerde fysica-engines: In plaats van impliciete fysica uit trainingsdata, kunnen toekomstige modellen expliciete fysicasimulatie als component integreren.

Realtime fysica: Momenteel is fysica-bewuste generatie traag, maar optimalisatie zou realtime generatie met fysieke nauwkeurigheid kunnen mogelijk maken.

De reis van teleporterende basketballen naar realistische stuiteringen vertegenwoordigt een van de belangrijkste ontwikkelingen in AI-videogeneratie. Modellen hebben geleerd, zo niet om fysica te begrijpen zoals mensen dat doen, dan op zijn minst om de beperkingen te respecteren. Voor creators betekent dit minder correcties, meer mogelijkheden en video's die simpelweg realistischer aanvoelen.