Фізика в AI-відео: як моделі нарешті навчилися поважати реальність

Проблема баскетбольного мяча

OpenAI описали це точно при запуску Sora 2: у ранніх моделях, якщо мяч промахувався повз кільце, він просто матеріалізувався в сітці. Модель знала наративний результат (мяч потрапляє в кошик), але не мала поняття про фізичні обмеження, що повинні керувати траєкторією.

Це не був дрібний баг. Це було симптомом фундаментального архітектурного обмеження. Ранні моделі генерації відео чудово справлялися з візуальним зіставленням патернів, вчилися генерувати кадри, що виглядали правдоподібно окремо, але залишалися фізично незвʼязними при перегляді послідовності.

Три стовпи фізичного розуміння

Прорив у симуляції фізики спирається на три взаємоповʼязані досягнення: моделювання світу, ланцюгове міркування та покращені механізми темпоральної уваги.

Моделі світу vs передбачення кадрів

Традиційна генерація відео розглядала задачу як послідовне передбачення кадрів: дано кадри з 1 по N, передбач кадр N+1. Цей підхід споконвічно погано справляється з фізикою, бо не має явного представлення базового фізичного стану.

Моделі світу використовують фундаментально інший підхід. Замість прямого передбачення пікселів вони спочатку будують внутрішнє представлення фізичного стану сцени: позиції обʼєктів, швидкості, матеріали та взаємодії. Тільки потім вони рендерять цей стан у візуальні кадри. Цей підхід, детально досліджений у нашому аналізі моделей світу, представляє парадигмальний зсув у розумінні генерації відео.

Ланцюг міркувань для відео

Kling O1, випущений наприкінці 2025 року, впровадив ланцюгове міркування в генерацію відео. Перед генерацією кадрів модель явно міркує про те, що фізично повинно статися в сцені.

Для сцени склянки, що падає зі столу, модель спочатку міркує:

• Склянка має початкову швидкість нуль, позиція на краю столу
• Гравітація прискорює склянку вниз зі швидкістю 9.8 м/с²
• Склянка контактує з підлогою приблизно через 0.45 секунди
• Матеріал склянки крихкий, підлога тверда
• Удар перевищує поріг руйнування, склянка розбивається
• Уламки розлітаються зі збереженням імпульсу

Цей етап явного міркування відбувається в латентному просторі моделі до генерації пікселів. Результат: відео, що поважає не лише візуальну естетику, а й причинно-наслідкові ланцюжки.

Темпоральна увага в масштабі

Архітектурною основою цих досягнень є темпоральна увага, механізм, за допомогою якого відеомоделі підтримують узгодженість між кадрами. Архітектура дифузійних трансформерів, на якій працюють сучасні відеомоделі, обробляє відео як просторово-часові патчі, дозволяючи увазі текти як просторово всередині кадрів, так і темпорально між ними.

Сучасні відеомоделі обробляють мільйони просторово-часових патчів на відео, зі спеціалізованими головами уваги, виділеними для фізичної узгодженості. Цей масштаб дозволяє моделям відстежувати ідентичність обʼєктів та фізичний стан протягом сотень кадрів, підтримуючи звʼязність, що була неможливою з ранішими архітектурами.

Реальні бенчмарки фізики

Як ми насправді вимірюємо якість симуляції фізики? У галузі розроблено кілька стандартизованих тестів:

Моделі Kling стабільно перевершують у динаміці рідин, з особливо вражаючою симуляцією води та фізики тканини. Sora 2 від OpenAI лідирує в реалізмі зіткнень та збереженні імпульсу, обробляючи складні багатообʼєктні взаємодії з вражаючою точністю.

Тест гімнаста

Один з найвимогливіших фізичних бенчмарків включає олімпійську гімнастику. Гімнаст у перекиді піддається складній обертальній динаміці: збереження кутового моменту, змінний момент інерції при витягуванні та згинанні кінцівок, точний тайминг прикладання сили при відштовхуваннях та приземленнях.

Ранні відеомоделі генерували вражаючі окремі кадри гімнастів у повітрі, але катастрофічно провалювалися на фізиці. Обертання випадково прискорювалися або сповільнювалися. Приземлення відбувалися в неможливих позиціях. Тіло деформувалося способами, що порушували анатомічні обмеження.

Sora 2 явно виділила олімпійську гімнастику як бенчмарк, який вона тепер обробляє коректно. Модель відстежує кутовий момент гімнаста через весь номер, прискорюючи обертання при групуванні (ефект обертання фігуриста) та сповільнюючи при випрямленні.

Розуміння матеріалів

Симуляція фізики виходить за межі руху до властивостей матеріалів. Звідки модель знає, що скло розбивається, а гума відскакує? Що вода розбризкується, а олія розтікається? Що метал деформується пластично, а дерево ламається?

Відповідь у навчальних даних та вивчених моделлю апріорних знаннях. Навчаючись на мільйонах відео, що показують взаємодію матеріалів зі світом, моделі розвивають неявне розуміння матеріалів. Склянка, що падає на бетон, дає інший результат, ніж склянка, що падає на килим, і сучасні моделі вловлюють цю різницю.

Обмеження та крайні випадки

Попри ці досягнення, симуляція фізики в AI-відео залишається недосконалою. Кілька відомих обмежень зберігаються:

Довгострокова стабільність: Фізика залишається точною 5-10 секунд, але може дрейфувати на довших відрізках. Розширені відео можуть поступово порушувати закони збереження.

Складні багатотільні системи: Хоча зіткнення двох обʼєктів працює добре, сцени з десятками взаємодіючих обʼєктів (як падаюча вежа Дженга) можуть давати помилки.

Незвичні матеріали: Зміщення навчальних даних означають, що звичайні матеріали (вода, скло, метал) симулюються краще за екзотичні (неньютонівські рідини, магнітні матеріали).

Екстремальні умови: Фізика на дуже малих масштабах (молекулярних), дуже великих (астрономічних) або в екстремальних умовах (біля швидкості світла) часто дає збої.

Наслідки для творців

Що покращена симуляція фізики означає для творців відео?

По-перше, вона різко знижує потребу в постпродакшн-правках. Сцени, що раніше вимагали ретельного редагування для виправлення фізичних неможливостей, тепер генеруються коректно з першого разу.

По-друге, вона відкриває нові творчі можливості. Точна симуляція фізики означає, що машини Руба Голдберга, спортивні епізоди та екшн-сцени можна генерувати без кропіткої ручної корекції.

По-третє, вона покращує сприйняття глядачем. Глядачі підсвідомо помічають порушення фізики, і фізично точні відео сприймаються реальнішими, навіть коли різницю складно сформулювати.

Шлях уперед

Симуляція фізики продовжить покращуватися за кількома напрямками:

Триваліша темпоральна узгодженість: Поточні моделі підтримують фізику секунди, майбутні моделі підтримуватимуть хвилини.

Складніші взаємодії: Сцени з сотнями взаємодіючих обʼєктів стануть здійсненними.

Навчені фізичні рушії: Замість неявної фізики з навчальних даних майбутні моделі можуть включати явну симуляцію фізики як компонент.

Фізика в реальному часі: Зараз фізично-свідома генерація повільна, але оптимізація може забезпечити генерацію в реальному часі з фізичною точністю.

Шлях від баскетбольних мячів, що телепортуються, до реалістичних відскоків представляє одне з найзначніших досягнень у генерації AI-відео. Моделі навчилися, якщо не розуміти фізику так, як люди, то принаймні поважати її обмеження. Для творців це означає менше виправлень, більше можливостей і відео, що просто відчуваються реальнішими.