Runway GWM-1: універсальная мадэль свету з сімуляцыяй рэальнасці ў рэальным часе

Што, калі ШІ можа больш, чым генераваць відэа? Што, калі ён можа сімуляваць цэлыя светы, якія можна даследаваць, персанажаў, з якімі можна гаварыць, і робатаў, якіх можна навучаць, усё ў рэальным часе?

Гэта абяцанне GWM-1 ад Runway, іх першай універсальнай мадэлі свету, анансаванай у снежні 2025 года. І гэта не проста маркетынгавая балбатня. Гэта фундаментальны зрух у тым, як мы думаем пра тэхналогію відэа ШІ.

Ад генерацыі відэа да сімуляцыі свету

Традыцыйныя генератары відэа ствараюць кліпы. Вы ўводзіце запыт, чакаеце і атрымліваеце загадзя вызначаную паслядоўнасць кадраў. GWM-1 працуе інакш. Ён будуе ўнутранае прадстаўленне асяроддзя і выкарыстоўвае яго для сімуляцыі будучых падзей унутры гэтага асяроддзя.

💡

GWM-1 з'яўляецца аўтарэгрэсіўнай мадэллю, генеруючы кадры адзін за адным у рэальным часе. У адрозненне ад пакетнай генерацыі відэа, яна рэагуе на ваш увод па меры яго паступлення.

Падумайце пра наступствы. Калі вы даследуеце віртуальную прастору, створаную GWM-1, аб'екты застаюцца там, дзе павінны быць, калі вы павяртаецеся. Фізіка застаецца ўзгодненай. Асвятленне рэагуе на рухі камеры. Гэта не папярэдне адрэндэранае відэа, гэта сімуляцыя, якая працуе на лёце.

Тры слупы GWM-1

Runway падзяліў GWM-1 на тры спецыялізаваныя варыянты, кожны накіраваны на сваю вобласць. Сёння гэта асобныя мадэлі, але кампанія плануе аб'яднаць іх у адзіную сістэму.

🌍

GWM Worlds

Даследуемыя асяроддзі з геаметрыяй, асвятленнем і фізікай для гульняў, VR і навучання агентаў.

👤

GWM Avatars

Персанажы, кіруемыя аўдыё, з сінхранізацыяй губ, рухам вачэй і жэстамі для працяглых размоў.

🤖

GWM Robotics

Генератар сінтэтычных навучальных дадзеных для палітык робатаў, усуваючы вузкае месца фізічнага абсталявання.

GWM Worlds: бясконцыя прасторы, якімі можна хадзіць

Варыянт Worlds стварае асяроддзі, якія можна даследаваць інтэрактыўна. Перамяшчайцеся працэдурна ўзгодненай прасторай, і мадэль падтрымлівае прасторавую кагерэнтнасць: калі вы ідзеце наперад, павяртаеце налева, потым разгортваецеся, вы ўбачыце тое, што чакаеце.

Гэта вырашае адну з самых складаных праблем у відэа ШІ: узгодненасць у пашыраных паслядоўнасцях. Папярэднія падыходы з працай падтрымлівалі пазіцыі аб'ектаў і ўзгодненасць сцэны ў часе. GWM Worlds разглядае асяроддзе як пастаянны стан, а не паслядоўнасць нязвязаных кадраў.

Сцэнары выкарыстання ахопліваюць гульні, вопыт віртуальнай рэальнасці і навучанне ШІ-агентаў. Уявіце, што алгарытм навучання з падмацаваннем даследуе тысячы працэдурна згенераваных асяроддзяў без неабходнасці будаваць кожнае ўручную.

GWM Avatars: фотарэалістычныя персанажы, якія слухаюць

Варыянт Avatars генеруе персанажаў, кіруемых аўдыё, з незвычайным узроўнем дэталізацыі. Акрамя базавай сінхранізацыі губ, ён рэндэрыць:

✓Натуральныя выразы твару
✓Рэалістычныя рухі вачэй і напрамак позірку
✓Сінхранізацыю губ з маўленнем
✓Жэсты падчас гаварэння і слухання

Частка «слухання» важная. Большасць сістэм аватараў анімуе толькі калі персанаж гаворыць. GWM Avatars падтрымлівае натуральную паводзіны ў спакоі, тонкія рухі і адгукліва выразы нават калі персанаж маўчыць, робячы размовы менш падобнымі на зносіны з запісам.

Runway сцвярджае, што сістэма працуе для «працяглых размоў без дэградацыі якасці», указваючы, што яны вырашылі праблему часовай узгодненасці, якая перасуедуе працяглую генерацыю аватараў.

GWM Robotics: разумовыя эксперыменты ў маштабе

Магчыма, найпрагматычнейшае прымяненне, навучанне робатаў. Фізічныя робаты дарагія, ламаюцца і могуць запускаць толькі адзін эксперымент за раз. GWM Robotics генеруе сінтэтычныя навучальныя дадзеныя, дазваляючы распрацоўшчыкам тэставаць палітыкі ў сімуляцыі да дотыку да рэальнага абсталявання.

💡

Мадэль падтрымлівае контрфактуальную генерацыю, таму вы можаце даследаваць сцэнары «што калі робат схапіў аб'ект інакш?» без фізічнага ўмяшання.

Падыход праз SDK тут важны. Runway прапануе GWM Robotics праз Python-інтэрфейс, пазіцыянуючы яго як інфраструктуру для робататэхнічных кампаній, а не спажывецкі прадукт. Яны вядуць перагаворы з робататэхнічнымі фірмамі пра карпаратыўнае развёртванне.

Тэхнічныя характарыстыкі

720p

Раздзяленне

24 fps

Частата кадраў

2 хв

Макс. даўжыня

Real-time

Хуткасць генерацыі

GWM-1 пабудаваны на базе Gen-4.5, відэамадэлі Runway, якая нядаўна апередзіла і Google, і OpenAI у рэйтынгу Video Arena. Аўтарэгрэсіўная архітэктура азначае, што ён генеруе кадры адзін за адным, а не апрацоўвае ўсю паслядоўнасць пакетам.

Абумоўліванне дзеяннямі прымае некалькі тыпаў уводу: карэкцыі позы камеры, каманды на аснове падзей, параметры позы робата і маўленчыя/аўдыё ўваходы. Гэта робіць яго сапраўднай інтэрактыўнай сістэмай, а не аднаразовым генератарам.

Як гэта параўноўваецца з канкурэнтамі

Runway выразна сцвярджае, што GWM-1 больш «універсальны», чым Genie-3 ад Google і іншыя спробы мадэляў свету. Адрозненне важнае: у той час як Genie-3 фокусуецца на гульнявых асяроддзях, Runway пазіцыянуе GWM-1 як мадэль, здольную сімуляваць у розных вобласцях, ад робататэхнікі да навук пра жыццё.

✗Традыцыйныя генератары відэа

Генеруюць фіксаваныя паслядоўнасці. Няма ўзаемадзеяння, няма даследавання, няма рэакцыі на ўвод у рэальным часе.

✓Мадэль свету GWM-1

Сімулюе пастаянныя асяроддзі. Рэагуе на дзеянні ў рэальным часе. Падтрымлівае прасторавую і часовую узгодненасць.

Робататэхнічны кут асабліва цікавы. У той час як большасць кампаній ШІ-відэа гоняцца за творчымі прафесіяналамі і маркетолагамі, Runway будуе інфраструктуру для прамысловых прымяненняў. Гэта стаўка на тое, што мадэлі свету важныя за межамі забаў.

Што гэта азначае для стваральнікаў

Для тых з нас, хто працуе ў сферы ШІ-відэа, GWM-1 сігналізуе пра больш шырокі зрух. Мы гадамі вучыліся ствараць лепшыя запыты і звязваць кліпы разам. Мадэлі свету прадугледжваюць будучыню, дзе мы праектуем прасторы, устанаўліваем правілы і дазваляем сімуляцыі працаваць.

Гэта звязана з абмеркаваннем мадэляў свету, якое мы адсочваем. Тэза пра тое, што ШІ павінен разумець фізіку і прычыннасць, а не проста супастаўляць патэрны пікселяў, становіцца прадуктовай рэальнасцю.

Распрацоўшчыкам гульняў варта звярнуць увагу. Стварэнне даследуемых 3D-асяроддзяў звычайна патрабуе мастакоў, дызайнераў узроўняў і рухавікоў тыпу Unity або Unreal. GWM Worlds намякае на будучыню, дзе вы апісваеце прастору і дазваляеце ШІ запоўніць геаметрыю.

Gen-4.5 атрымлівае таксама аўдыё

Разам з анонсам GWM-1, Runway абнавіў Gen-4.5 натыўнай генерацыяй аўдыё. Цяпер вы можаце генераваць відэа з сінхранізаваным гукам напрамую, не трэба дадаваць аўдыё ў постпродакшане. Яны таксама дадалі магчымасці рэдагавання аўдыё і шматкадравага рэдагавання відэа для стварэння хвіліных кліпаў з узгодненымі персанажамі.

Для больш глыбокага погляду на тое, як аўдыё трансфармуе ШІ-відэа, вывучыце наш матэрыял пра тое, як заканчваецца эра нямога ШІ-відэа.

Дарога наперад

Тры варыянты GWM-1, Worlds, Avatars і Robotics, у рэшце рэшт аб'ядануюцца ў адзіную мадэль. Мэта, уніфікаваная сістэма, здольная сімуляваць любы тып асяроддзя, персанажа або фізічнай сістэмы.

💡

GWM Avatars і пашыраныя функцыі World «неўзабаве з'явяцца». GWM Robotics SDK даступны па запыце.

Што мяне найбольш натхняе, гэта не якая-небудзь асобная функцыя. Гэта фармуліроўка. Runway больш не прадае відэакліпы. Яны прадаюць інфраструктуру сімуляцыі. Гэта зусім іншая катэгорыя прадукту.

Пытанне не ў тым, ці замяняць мадэлі свету генератары відэа. Пытанне ў тым, як хутка адрозненне паміж «стварэннем відэа» і «сімуляцыяй светаў» размыецца. Судзячы па GWM-1, Runway ставіць хутчэй раней, чым пазней.

GWM-1 ад Runway даступны ў даследчым прэв'ю, з больш шырокім доступам чаканым у пачатку 2026 года. Для параўнанняў з іншымі вядучымі інструментамі ШІ-відэа глядзіце наш разбор Sora 2 vs Runway vs Veo 3.