Runway GWM-1: Vispārīgais pasaules modelis, kas simulē realitāti reāllaikā

Ko darīt, ja MI varētu vairāk nekā tikai ģenerēt videoklipu? Ko darīt, ja tā varētu simulēt veselus pasauļus, kurus jūs varat izpētīt, rakstzīmes, ar kurām varat runāt, un robotus, kurus varat apmācīt, visu reāllaikā?

Tāda ir Runway GWM-1 apsolījums, viņu pirmais Vispārīgais pasaules modelis, kas tika paziņots 2025. gada decembrī. Un tas nav tikai mārketinga vārdi. Šis modelis pārstāv fundamentālu maiņu tajā, kā mēs domājam par MI video tehnoloģiju.

No videoklipu ģenerēšanas uz pasaules simulāciju

Tradicionālie videoklipu ģeneratori rada fragmentus. Jūs ierakstāt uzvedni, gaidāt un saņemat iepriekš noteiktu kadru secību. GWM-1 darbojas citādi. Tas izveido iekšēju vides attēlojumu un izmanto to, lai simulētu nākotnes notikumus šajā vidē.

💡

GWM-1 ir autoregresīvs, ģenerējot kadru pēc kadra reāllaikā. Atšķirībā no pakešu video ģenerēšanas, tas reaģē uz jūsu ievadiem, tiklīdz jūs tos veidojat.

Padomājiet par sekām. Kad jūs pētāt virtuālu telpu, ko izveidojis GWM-1, objekti paliek tur, kur tiem vajadzētu būt, kad jūs pagriezaties. Fizika paliek konsekventa. Apgaismojums reaģē uz jūsu kameras kustībām. Tas nav iepriekš renderēts videoklipu, tas ir simulācija, kas darbojas lidojumā.

Trīs GWM-1 balsti

Runway ir sadalījis GWM-1 trīs specializētās versijās, katra vērsta uz citu jomu. Šodien tie ir atsevišķi modeļi, bet uzņēmums plāno tos apvienot vienotā sistēmā.

🌍

GWM Worlds

Pētāmas vides ar ģeometriju, apgaismojumu un fiziku spēļu, VR un aģentu apmācības vajadzībām.

👤

GWM Avatars

Audio vadītas rakstzīmes ar lūpu sinhronizāciju, acu kustībām un žestiem, kas darbojas ilgstošām sarunām.

🤖

GWM Robotics

Sintētisko apmācības datu ģenerators robotu politikām, novēršot fiziskā aparatūras šauro vietu.

GWM Worlds: Bezgalīgas telpas, pa kurām varat staigāt

Worlds versija rada vides, kuras varat izpētīt interaktīvi. Pārvietojieties pa procedurāli konsekventu telpu un modelis uztur telpisko saskaņotību: ja esat soļojuši uz priekšu, pagriezāties pa kreisi, tad pagriezāties atpakaļ, jūs redzēsiet to, ko sagaidāt.

Tas atrisina vienu no grūtākajām problēmām MI video jomā: konsekvenci paplašinātās secībās. Iepriekšējās pieejas cīnījās, lai saglabātu objektu pozīcijas un ainas saskaņotību laika gaitā. GWM Worlds uzskata vidi par pastāvīgu stāvokli, nevis par atvienotu kadru secību.

Lietošanas gadījumi aptver spēles, virtuālās realitātes pieredzi un MI aģentu apmācību. Iedomājieties, ka ļaujat pastiprinātas mācīšanās algoritmam pētīt tūkstošiem procedurāli ģenerētu vidi, neveidojot katru ar rokām.

GWM Avatars: Fotoreālistiskas rakstzīmes, kas klausās

Avatars versija ģenerē audio vadītas rakstzīmes ar neparastu detalizācijas līmeni. Papildus pamata lūpu sinhronizācijai, tā renderē:

✓Dabiskas sejas izteiksmes
✓Reālistiskas acu kustības un skatījuma virzienu
✓Lūpu sinhronizāciju ar runu
✓Žestus runāšanas un klausīšanās laikā

"Klausīšanās" daļa ir svarīga. Lielākā daļa avatāru sistēmu animē tikai tad, kad rakstzīme runā. GWM Avatars uztur dabisku tukšgaitas uzvedību, smalkas kustības un atsaucīgas izteiksmes pat tad, kad rakstzīme nerunā, padarot sarunas mazāk līdzīgas runāšanai ar ierakstu.

Runway apgalvo, ka sistēma darbojas "ilgstošām sarunām bez kvalitātes pazemināšanās," norādot, ka viņi ir risinājuši temporālās konsekvences problēmu, kas nomoka ilgstošas avatāru ģenerēšanu.

GWM Robotics: Domāšanas eksperimenti liela mēroga

Varbūt vispragmatiskākais pielietojums ir robotu apmācība. Fiziskie roboti ir dārgi, salūst un var veikt tikai vienu eksperimentu vienlaikus. GWM Robotics ģenerē sintētiskos apmācības datus, ļaujot izstrādātājiem pārbaudīt politikas simulācijā, pirms pieskarties īstajam aparatūrai.

💡

Modelis atbalsta kontrafaktisku ģenerēšanu, tāpēc jūs varat izpētīt "ko būtu, ja robots būtu satvēris objektu citādi?" scenārijus bez fiziskas iejaukšanās.

SDK pieeja šeit ir svarīga. Runway piedāvā GWM Robotics caur Python saskarni, pozicionējot to kā infrastruktūru robotikas uzņēmumiem, nevis patērētāju produktu. Viņi ir diskusijās ar robotikas uzņēmumiem par uzņēmuma ieviešanu.

Tehniskie parametri

720p

Izšķirtspēja

24 fps

Kadru ātrums

2 min

Maksimālais garums

Reāllaikā

Ģenerēšanas ātrums

GWM-1 ir uzbūvēts uz Gen-4.5, Runway video modeļa, kas nesen sasniedzis gan Google, gan OpenAI Video Arena līderpozīciju sarakstā. Autoregresīvā arhitektūra nozīmē, ka tas ģenerē kadru pēc kadra, nevis apstrādā visu secību.

Darbības kondicionēšana pieņem vairākus ievades veidus: kameras pozas korekcijas, notikumu balstītas komandas, robotu pozas parametrus un runas/audio ievades. Tas padara to par patiesi interaktīvu sistēmu, nevis vienreizēju ģeneratoru.

Kā tas salīdzinās ar konkurenci

Runway skaidri apgalvo, ka GWM-1 ir "vispārīgāks" nekā Google Genie-3 un citi pasaules modeļu mēģinājumi. Atšķirība ir svarīga: kamēr Genie-3 koncentrējas uz spēlei līdzīgām vidēm, Runway pozicionē GWM-1 kā modeli, kas var simulēt pāri jomām, no robotikas līdz dzīvības zinātnēm.

✗Tradicionālie videoklipu ģeneratori

Ģenerē fiksētas secības. Nav mijiedarbības, nav pētniecības, nav reāllaika atbildes uz ievadi.

✓GWM-1 pasaules modelis

Simulē pastāvīgas vides. Reaģē uz darbībām reāllaikā. Uztur telpisko un temporālo konsekvenci.

Robotikas aspekts ir īpaši interesants. Kamēr lielākā daļa MI video uzņēmumu dzenās pēc radošiem profesionāļiem un tirgotājiem, Runway veido infrastruktūru rūpnieciskiem pielietojumiem. Tas ir derīgums, ka pasaules modeļi ir svarīgi ārpus izklaides.

Ko tas nozīmē radītājiem

Tiem no mums MI video jomā, GWM-1 signalizē plašāku maiņu. Mēs esam pavadījuši gadus, mācot veidot labākas uzvednes un saistīt fragmentus kopā. Pasaules modeļi iesaka nākotni, kur mēs projektējam telpas, uzstādām noteikumus un ļaujam simulācijai darboties.

Tas saistās ar pasaules modeļu sarunu, ko esam izsekojuši. Tēze, ka MI vajadzētu saprast fiziku un cēloņsakarību, nevis tikai modeļu piemērošanas pikseļus, kļūst par produkta realitāti.

Spēļu izstrādātājiem vajadzētu pievērst uzmanību. Pētāmu 3D vidi izveide parasti prasa māksliniekus, līmeņu dizainerus un dzinējus kā Unity vai Unreal. GWM Worlds norāda uz nākotni, kur jūs aprakstāt telpu un ļaujat MI aizpildīt ģeometriju.

Gen-4.5 saņem arī audio

Līdztekus GWM-1 paziņojumam, Runway atjaunināja Gen-4.5 ar dzimto audio ģenerēšanu. Tagad jūs varat ģenerēt videoklipu ar sinhronizētu skaņu tieši, nav nepieciešams pievienot audio pēcapstrādē. Viņi ir pievienojuši arī audio rediģēšanas iespējas un vairāku kadru video rediģēšanu vienas minūtes fragmentu izveidei ar konsekventi rakstzīmēm.

Dziļākam skatījumam uz to, kā audio pārveido MI video, skatiet mūsu aprakstu par kā MI video klusā ēra beidzas.

Ceļš uz priekšu

Trīs GWM-1 versijas, Worlds, Avatars un Robotics, galu galā apvienosies vienotā modelī. Mērķis ir vienota sistēma, kas var simulēt jebkuru vides, rakstzīmes vai fiziskas sistēmas veidu.

💡

GWM Avatars un uzlaboti World līdzekļi ir "drīzumā". GWM Robotics SDK ir pieejams pēc pieprasījuma.

Kas mani visvairāk aizrauj, nav neviena atsevišķa līdzekļa. Tas ir rāmis. Runway vairs nepārdod videoklipu fragmentus. Viņi pārdod simulācijas infrastruktūru. Tas ir cita produktu kategorija pilnībā.

Jautājums nav par to, vai pasaules modeļi aizstās videoklipu ģeneratorus. Tas ir par to, cik ātri atšķirība starp "videoklipu veidošanu" un "pasauļu simulēšanu" izpludīs. Balstoties uz GWM-1, Runway spēlē drīzāk nekā vēlāk.

Runway GWM-1 ir pieejams pētniecības priekšskatījumā, ar plašāku piekļuvi, kas paredzēta 2026. gada sākumā. Salīdzinājumiem ar citiem vadošiem MI video rīkiem, skatiet mūsu sadalījumu par Sora 2 vs Runway vs Veo 3.