Pasaulio modeliai už vaizdo ribų: kodėl žaidimai ir robotika yra tikrieji AGI įrodymo laukai

Kita dirbtinio intelekto revoliucija neatsiras iš kalbos modelių. Ji ateis iš sistemų, kurios supranta fizinį pasaulį, o pirmasis mūšio laukas bus ne tyrimų laboratorijos, bet vaizdo žaidimai.

Kai Yann LeCun paskelbė paliekantis Meta ir kuriantis AMI Labs su €500 million finansavimu, jis išreiškė tai, kuo daugelis tyrėjų tyliai tikėjo jau daugelį metų. Didieji kalbos modeliai, nepaisant visų įspūdingų gebėjimų, yra aklavietė kelyje į bendrąjį dirbtinį intelektą. Jie prognozuoja žetonus, nesuprasdami realybės.

Alternatyva? Pasaulio modeliai. Sistemos, kurios mokosi simuliuoti, kaip veikia fizinis pasaulis.

Esminis kalbos modelių ribotumas

💡

Pasaulio modeliai mokosi numatyti, kas nutiks toliau vaizdinėje aplinkoje, o ne tik kokie žodžiai bus toliau tekste. Tam reikia suprasti fiziką, objektų pastovumą ir priežastingumą.

Kalbos modeliai puikiai atpažįsta dėsningumus tekste. Jie gali rašyti poeziją, derinti kodą ir palaikyti pokalbius, kurie atrodo stebėtinai žmogiški. Tačiau paprašykite GPT-4 numatyti, kas atsitiks numetus kamuolį, ir jis remsis įsimintais aprašymais, o ne tikra fizine intuicija.

Tai svarbu, nes intelektas, kaip jį patiriame biologiniame pasaulyje, iš esmės yra pagrįstas fizine realybe. Mažas vaikas, mokantis statyti kaladėles, intuityviai supranta gravitaciją, pusiausvyrą ir medžiagų savybes gerokai prieš išmokdamas kalbą. Šis įkūnytas pažinimas, šis suvokimas, kaip veikia pasaulis, yra būtent tai, ko trūksta dabartinėms DI sistemoms.

Pasaulio modeliais siekiama užpildyti šią spragą. Užuot prognozavę kitą žetoną, jie prognozuoja kitą kadrą, kitą fizinę būseną, kitą veiksmo pasekmę.

Trys pasaulio supratimo metodai

Lenktynės kuriant pasaulį suprantantį DI susiskirstė į tris skirtingas paradigmas, kurių kiekviena turi savų stiprybių.

✓Vaizdo prognozavimo modeliai

Mokomi naudojant milžiniškus vaizdo duomenų rinkinius, kad išmoktų numanomą fiziką. Pavyzdžiai apima Sora ir Veo. Gerai kuria tikėtinas tęsines, tačiau susiduria su sunkumais interaktyviose situacijose.

✗Simuliacija paremti modeliai

Kuria aiškius fizikos variklius ir moko DI juose veikti. Reikalauja brangaus rankinio aplinkų kūrimo, tačiau suteikia tikslų fizinį tikslumą.

Trečiasis metodas, ir galbūt perspektyviausias, sujungia abu: pasaulio dinamikos mokymąsi iš vaizdo įrašų ir gebėjimą sąveikauti su aplinka bei ją valdyti. Čia žaidimai tampa esminiai.

Žaidimai: tobula mokymo aplinka

Vaizdo žaidimai suteikia kažką unikalaus: interaktyvias aplinkas su nuosekliomis fizikos taisyklėmis, begaline įvairove ir aiškiais sėkmės rodikliais. Kitaip nei realaus pasaulio robotika, kuriai reikia brangios aparatinės įrangos ir kuri kelia saugumo problemų, žaidimai leidžia neribotai klysti be pasekmių.

$500B+

Žaidimų rinka iki 2030 m.

€500M

AMI Labs finansavimas

12%

Metinis augimo tempas

DeepMind anksti atpažino šį potencialą. Jų Genie sistema gali iš vieno vaizdo sukurti visiškai naujas žaidžiamas aplinkas. Pateikite jai platforminio žaidimo lygio eskizą, ir ji sukurs pasaulį su nuoseklia fizika, kuriame veikėjai gali šokinėti, kristi ir tinkamai sąveikauti su objektais.

Genie išskirtinumas slypi ne tik generavime, bet ir supratime. Sistema išmoksta apibendrinamų fizikos sąvokų, kurios perkeliamos į skirtingus vizualinius stilius ir žaidimų tipus. Modelis, išmokytas naudojant Mario stiliaus platforminius žaidimus, įgyja intuiciją apie gravitaciją ir susidūrimus, kuri vienodai tinka ranka pieštiems nepriklausomiems žaidimams ir realistiškoms 3D aplinkoms.

Nuo žaidimų iki robotų

Perėjimas nuo žaidimų prie robotikos nėra teorinis. Įmonės jau tai naudoja.

2024

Nustatytas simuliacijos atotrūkis

Tyrimai rodo, kad vien simuliacijoje išmokyti modeliai sunkiai susidoroja su realaus pasaulio netvarka: kintančiu apšvietimu, netobulais jutikliais, netikėtais objektais.

2025

Atsiranda hibridiniai metodai

Komandos derina žaidimuose išmokytus pasaulio modelius su ribotu realaus pasaulio tikslinimu, taip smarkiai sumažindamos robotų mokymui reikalingų duomenų kiekį.

2026

Prasideda komercinis diegimas

Pirmieji sandėlių robotai, naudojantys pasaulio modelių pagrindą, pradedami naudoti gamyboje ir tvarko naujus objektus be aiškaus programavimo.

Šį perėjimą skatinanti įžvalga paprasta: fizika yra fizika. Modelis, kuris iš tiesų supranta, kaip objektai krenta, slysta ir susiduria vaizdo žaidime, tinkamai pritaikytas turėtų suprasti tuos pačius principus realiame pasaulyje. Vizualinė išvaizda keičiasi, tačiau pagrindinė dinamika išlieka pastovi.

Tesla taikė šios strategijos versiją su savo Optimus robotais, iš pradžių mokydama juos simuliacijoje, o vėliau diegdama kontroliuojamose gamyklos aplinkose. Ribojantis veiksnys visada buvo atotrūkis tarp simuliuotos ir realios fizikos. Pasaulio modeliai, išmokyti naudojant įvairius vaizdo duomenis, pagaliau gali užpildyti šį atotrūkį.

AMI Labs statymas

Naujoji Yann LeCun įmonė AMI Labs yra iki šiol didžiausia pavienė investicija į pasaulio modelių tyrimus. Turėdama €500 million Europos finansavimą ir komandą, suburtą iš Meta, DeepMind bei akademinių laboratorijų, ji siekia to, ką LeCun vadina „tikslais paremtu DI“.

💡

Skirtingai nuo LLM, kurie prognozuoja žetonus, AMI metodas sutelktas į pasaulio reprezentacijų mokymąsi, leidžiantį planuoti ir samprotauti apie fizines pasekmes.

Techninis pagrindas remiasi Joint Embedding Predictive Architecture (JEPA), sistema, kurią LeCun remia jau daugelį metų. Užuot kūrusi pikselių lygmens prognozes, kurioms reikia milžiniškų skaičiavimo išteklių, JEPA mokosi abstrakčių reprezentacijų, fiksuojančių esminę fizinių sistemų struktūrą.

Įsivaizduokite taip: žmogus, stebintis prie skardžio riedantį kamuolį, nesimuliuoja kiekvieno kamuolio trajektorijos pikselio. Vietoj to mes atpažįstame abstrakčią situaciją (kamuolys, kraštas, gravitacija) ir numatome rezultatą (kritimą). JEPA siekia užfiksuoti tokį efektyvų, abstraktų samprotavimą.

Pasekmės DI vaizdo generavimui

Ši tyrimų kryptis yra itin svarbi kūrybinėms programoms. Dabartiniai DI vaizdo generatoriai pateikia įspūdingus rezultatus, tačiau kenčia nuo laikinio nenuoseklumo. Veikėjai keičia formas, fizika sugenda, objektai atsiranda ir išnyksta.

Pasaulio modeliai siūlo galimą sprendimą. Generatorius, kuris iš tiesų supranta fiziką, turėtų kurti vaizdo įrašus, kuriuose objektai laikosi nuoseklių taisyklių, numesti daiktai krenta nuspėjamai, o atspindžiai elgiasi teisingai.

✗Dabartinė būsena

Modeliai kuria vizualiai tikėtinus kadrus neužtikrindami fizinio nuoseklumo. Tai veikia trumpiems klipams, tačiau sugenda ilgesnėse trukmėse.

✓Pasaulio modelių ateitis

Fizinis nuoseklumas atsiranda iš išmoktos pasaulio dinamikos. Galimi ilgesni, nuoseklesni vaizdo įrašai, nes modelis palaiko vidinę pasaulio būseną.

Jau matome ankstyvus šio perėjimo ženklus. Runway GWM-1 yra jų statymas už pasaulio modelius, o pagerinta Veo 3.1 fizikos simuliacija rodo, kad Google įtraukia panašius principus.

AGI ryšys

Kodėl visa tai svarbu bendrajam dirbtiniam intelektui? Nes tikram intelektui reikia daugiau nei kalbos manipuliavimo. Jam reikia suprasti priežastį ir pasekmę, numatyti padarinius bei planuoti veiksmus fiziniame pasaulyje.

🧠

Įkūnytas pažinimas

Tikram intelektui gali reikėti būti pagrįstam fizine realybe, o ne vien statistiniais teksto dėsningumais.

🎮

Interaktyvus mokymasis

Žaidimai suteikia tobulą bandymų aplinką: turtingą fiziką, aiškų grįžtamąjį ryšį ir neribotą kartojimą.

🤖

Robotinė taikomoji paskirtis

Žaidimuose išmokyti pasaulio modeliai galėtų būti perkelti į realaus pasaulio robotiką su minimaliu pritaikymu.

Šį darbą vykdantys tyrėjai atsargiai teigia, kad nekuria AGI. Tačiau jie įtikinamai argumentuoja, kad nesuprasdami pasaulio negalime sukurti sistemų, kurios iš tiesų mąsto, o ne tik automatiškai užbaigia tekstą.

Kas toliau

Kiti dveji metai bus lemiami. Keletas pokyčių, kuriuos verta stebėti:

✓Pirmosios viešos AMI Labs demonstracijos (tikimasi 2026 m. viduryje)
✓Pasaulio modelių integravimas į pagrindinius vaizdo generatorius
✓Žaidimų variklių įmonės (Unity, Unreal) prideda pasaulio modelių API
✓Pirmieji vartotojams skirti robotai, naudojantys žaidimuose išmokytus pasaulio modelius

Numatoma, kad iki 2030 m. žaidimų rinka viršys $500 billion, todėl ji yra derlinga dirva pasaulio modelių diegimui. Investuotojai pasaulio modelius laiko ne vien tyrimų įdomybe, bet ir pagrindine technologija interaktyvioms pramogoms, simuliacijai bei robotikai.

Tyli revoliucija

Kitaip nei sprogstamas ažiotažas apie ChatGPT, pasaulio modelių revoliucija tyliai vystosi tyrimų laboratorijose ir žaidimų studijose. Nėra jokių virusinių demonstracijų, jokių kasdienių naujienų ciklų apie naujausią proveržį.

Tačiau pasekmės gali būti gilesnės. Kalbos modeliai pakeitė mūsų sąveiką su tekstu. Pasaulio modeliai galėtų pakeisti tai, kaip DI sąveikauja su realybe.

Mums, dirbantiems DI vaizdo generavimo srityje, šie tyrimai reiškia ir grėsmę, ir galimybę. Mūsų dabartiniai įrankiai retrospektyviai gali atrodyti primityvūs, kaip ankstyvoji CGI, palyginti su šiuolaikiniais vaizdo efektais. Tačiau pagrindinis principas, vaizdinio turinio generavimas naudojant išmoktus modelius, tik stiprės, kai šie modeliai pradės iš tiesų suprasti jų kuriamus pasaulius.

💡

Papildomas skaitymas: Sužinokite, kaip difuziniai transformatoriai suteikia architektūrinį pagrindą daugeliui pasaulio modelių, arba susipažinkite su interaktyviu generavimu realiuoju laiku, kuris remiasi pasaulio modelių principais.

Kelias nuo vaizdo žaidimų fizikos iki bendrojo dirbtinio intelekto gali atrodyti vingiuotas. Tačiau intelektas, kad ir kur jį rastume, atsiranda sistemose, kurios supranta savo aplinką ir gali numatyti savo veiksmų pasekmes. Žaidimai suteikia mums saugią erdvę kurti ir išbandyti tokias sistemas. Po jų seks robotai, kūrybiniai įrankiai ir, galbūt, tikras mašinų supratimas.