Simulácia fyziky v AI videu: Ako sa modely konečne naučili rešpektovať realitu

Problém s basketbalovou loptou

OpenAI to dokonale opísalo pri spustení Sora 2: v skorších modeloch, ak basketbalová lopta minula kôš, jednoducho sa materializovala v sieti. Model poznal naratívny výsledok (lopta ide do koša), ale nemal žiadnu predstavu o fyzikálnych obmedzeniach, ktoré by mali riadiť jej cestu.

Toto nebola malá chyba. Bola príznačná pre fundamentálne architektonické obmedzenie. Skoré modely generovania videa vynikali vo vizuálnom porovnávaní vzorov, učili sa generovať snímky, ktoré vyzerali individuálne uveriteľne, zatiaľ čo pri sledovaní v sekvencii zostávali fyzikálne nekoherentné.

Tri piliere fyzikálneho porozumenia

Prelom v simulácii fyziky stojí na troch prepojených pokrokoch: modelovanie sveta, reťazové uvažovanie a vylepšené mechanizmy temporálnej pozornosti.

Modely sveta vs predikcia snímok

Tradičné generovanie videa pristupovalo k úlohe ako k sekvenčnej predikcii snímok: dané snímky 1 až N, predpovedaj snímku N+1. Tento prístup má inherentné problémy s fyzikou, pretože nemá explicitnú reprezentáciu základného fyzikálneho stavu.

Modely sveta majú fundamentálne odlišný prístup. Namiesto priamej predikcie pixelov najprv konštruujú internú reprezentáciu fyzikálneho stavu scény, vrátane pozícií objektov, rýchlostí, materiálov a interakcií. Až potom renderujú tento stav do vizuálnych snímok. Tento prístup, podrobne preskúmaný v našej analýze modelov sveta, predstavuje paradigmatický posun v tom, ako premýšľame o generovaní videa.

Reťazové myslenie pre video

Kling O1, vydaný koncom roka 2025, predstavil reťazové uvažovanie pre generovanie videa. Pred generovaním snímok model explicitne uvažuje o tom, čo by sa malo fyzicky stať v scéne.

Pre scénu, kde padá pohár zo stola, model najprv uvažuje:

• Pohár má počiatočnú rýchlosť nula, pozícia na hrane stola
• Gravitácia zrýchľuje pohár smerom dole rýchlosťou 9,8 m/s²
• Pohár narazí na podlahu približne po 0,45 sekundy
• Materiál pohára je krehký, podlaha je tvrdý povrch
• Náraz prekračuje prah zlomenia, pohár sa rozbije
• Črepiny sa rozletia so zachovaním hybnosti

Tento explicitný krok uvažovania prebieha v latentnom priestore modelu pred generovaním akýchkoľvek pixelov. Výsledkom je video, ktoré rešpektuje nielen vizuálnu estetiku, ale aj kauzálne reťazce.

Temporálna pozornosť vo veľkom meradle

Architektonickým základom umožňujúcim tieto pokroky je temporálna pozornosť, mechanizmus, ktorým video modely udržiavajú konzistenciu naprieč snímkami. Architektúra difúzneho transformátora, ktorá poháňa moderné video modely, spracováva video ako časopriestorové záplaty, čo umožňuje pozornosti prúdiť priestorovo v rámci snímok aj temporálne naprieč nimi.

Moderné video modely spracovávajú milióny časopriestorových záplat na video, so špecializovanými hlavami pozornosti venovanými fyzikálnej konzistencii. Táto škála umožňuje modelom sledovať identitu objektov a fyzikálny stav naprieč stovkami snímok, udržiavajúc koherenciu, ktorá bola s predchádzajúcimi architektúrami nemožná.

Benchmarky fyziky reálneho sveta

Ako vlastne meriame kvalitu simulácie fyziky? Odvetvie vyvinulo niekoľko štandardizovaných testov:

Modely Kling konzistentne vynikajú v dynamike tekutín, s obzvlášť impozantnou simuláciou vody a fyzikou látok. Sora 2 od OpenAI vedie v realizme kolízií a zachovaní hybnosti, zvládajúc komplexné interakcie viacerých objektov s impozantnou presnosťou.

Test gymnastky

Jedným z najnáročnejších benchmarkov fyziky je olympijská gymnastika. Gymnastka pri premete prechádza komplexnou rotačnou dynamikou: zachovanie momentu hybnosti, premenlivý moment zotrvačnosti pri vysúvaní a sťahovaní končatín a presné načasovanie aplikácie sily pri odrazoch a doskokoch.

Skoré video modely generovali impozantné jednotlivé snímky gymnastiek vo vzduchu, ale katastrofálne zlyhávali na fyzike. Rotácie sa náhodne zrýchľovali alebo spomaľovali. Doskoky nastávali v nemožných pozíciách. Telo sa deformovalo spôsobmi, ktoré porušovali anatomické obmedzenia.

Sora 2 explicitne vyzdvihla olympijskú gymnastiku ako benchmark, ktorý teraz správne zvláda. Model sleduje moment hybnosti gymnastky počas celej zostavy, zrýchľujúc rotáciu keď sa končatiny sťahujú (efekt pirohetu krasokorčuliara) a spomaľujúc keď sa vysúvajú.

Porozumenie materiálom

Simulácia fyziky presahuje pohyb k vlastnostiam materiálov. Ako model vie, že sklo sa rozbije, zatiaľ čo guma sa odrazí? Že voda špliecha, zatiaľ čo olej sa hromadí? Že kov sa plasticky deformuje, zatiaľ čo drevo praská?

Odpoveď spočíva v trénovacích dátach a naučených apriorných predpokladoch modelu. Trénovaním na miliónoch videí ukazujúcich materiály interagujúce so svetom modely rozvíjajú implicitné porozumenie materiálom. Sklo padajúce na betón produkuje iný výsledok ako sklo padajúce na koberec, a moderné modely zachytávajú toto rozlíšenie.

Obmedzenia a hraničné prípady

Napriek týmto pokrokom simulácia fyziky v AI videu zostáva nedokonalá. Niekoľko známych obmedzení pretrváva:

Dlhodobá stabilita: Fyzika zostáva presná 5-10 sekúnd, ale môže sa odchýliť pri dlhších trvaní. Rozšírené videá môžu postupne porušovať zákony zachovania.

Komplexné systémy viacerých telies: Zatiaľ čo kolízia dvoch objektov funguje dobre, scény s desiatkami interagujúcich objektov (ako padajúca veža Jenga) môžu produkovať chyby.

Neobvyklé materiály: Zaujatosti trénovacích dát znamenajú, že bežné materiály (voda, sklo, kov) sa simulujú lepšie ako exotické (nenewtonské tekutiny, magnetické materiály).

Extrémne podmienky: Fyzika vo veľmi malých mierkach (molekulárna), veľmi veľkých mierkach (astronomická) alebo extrémnych podmienkach (blízko rýchlosti svetla) často zlyháva.

Dôsledky pre tvorcov

Čo znamená vylepšená simulácia fyziky pre tvorcov videa?

Po prvé, dramaticky znižuje potrebu postprodukčných opráv. Scény, ktoré predtým vyžadovali starostlivú úpravu na korekciu fyzických nemožností, sa teraz generujú správne na prvýkrát.

Po druhé, umožňuje nové kreatívne možnosti. Presná simulácia fyziky znamená, že Rube Goldbergove stroje, športové sekvencie a akčné scény sa dajú generovať bez namáhavej manuálnej korekcie.

Po tretie, zlepšuje vnímanie divákom. Diváci podvedome detekujú porušenia fyziky, čo robí fyzikálne presné videá vnímanými ako reálnejšie, aj keď je rozdiel ťažko artikulovateľný.

Cesta vpred

Simulácia fyziky sa bude naďalej zlepšovať v niekoľkých osiach:

Dlhšia temporálna konzistencia: Súčasné modely udržiavajú fyziku sekundy, budúce modely ju budú udržiavať minúty.

Komplexnejšie interakcie: Scény so stovkami interagujúcich objektov sa stanú realizovateľnými.

Naučené fyzikálne enginy: Namiesto implicitnej fyziky z trénovacích dát môžu budúce modely zahŕňať explicitnú simuláciu fyziky ako komponent.

Fyzika v reálnom čase: Momentálne je fyzikálne uvedomelé generovanie pomalé, ale optimalizácia by mohla umožniť generovanie v reálnom čase s fyzikálnou presnosťou.

Cesta od teleportujúcich sa basketbalových lôpt k realistickým odrazom predstavuje jeden z najvýznamnejších pokrokov v generovaní AI videa. Modely sa naučili, ak nie rozumieť fyzike tak ako ľudia, tak aspoň rešpektovať jej obmedzenia. Pre tvorcov to znamená menej korekcií, viac možností a videá, ktoré jednoducho pôsobia reálnejšie.