Videokielimallit: Seuraava raja LLM:ien ja tekoälyagenttien jälkeen

Olemme viettäneet viimeiset vuodet opettaen tekoälyä lukemaan, kirjoittamaan ja jopa päättelemään monimutkaisten ongelmien läpi. Mutta asia on näin: kaikki tämä tapahtuu digitaalisessa maailmassa. ChatGPT voi kirjoittaa runon metsässä kävelystä, mutta sillä ei ole aavistustakaan, miltä oikeasti tuntuu astua kaatuneen puunrungon yli tai kumartua matalan oksan ali.

Maailmamallit ovat täällä muuttamaan sen.

Mitä ovat videokielimallit?

Ajattele niitä näkö-kielimallien evoluutiona, mutta ratkaisevalla lisäyksellä: ajallinen ymmärrys. Siinä missä tavallinen VLM katsoo yksittäistä kuvaa ja vastaa kysymyksiin siitä, videokielimalli havainnoi sekvenssien kehittymistä ja oppii säännöt, jotka hallitsevat fyysistä todellisuutta.

Tämä ei ole vain akateemista uteliaisuutta. Käytännön seuraukset ovat hämmästyttävät.

Kun robotti tarvitsee poimia kahvikupin, se ei voi vain tunnistaa "kuppi" kuvassa. Sen täytyy ymmärtää:

• ✓Miten esineet käyttäytyvät kun niitä työnnetään tai nostetaan
• ✓Mitä tapahtuu kun nesteet loiskuvat
• ✓Miten sen omat liikkeet vaikuttavat kohtaukseen
• ✓Mitkä toimet ovat fyysisesti mahdollisia verrattuna mahdottomiin

Tässä maailmamallit astuvat kuvaan.

Simulaatiosta toimintaan

Konsepti on elegantti: sen sijaan että koodaisit fyysisiä sääntöjä kiinteästi, koulutat tekoälyn miljoonilla tunneilla videota, joka näyttää miten maailma oikeasti toimii. Malli oppii painovoiman, kitkan, esineiden pysyvyyden ja kausaalisuuden ei yhtälöistä, vaan havainnoinnista.

NVIDIAn Cosmos edustaa yhtä kunnianhimoisimmista yrityksistä tähän. Heidän oma maailmamallinsa on suunniteltu erityisesti robotiikkasovelluksiin, joissa fyysisen todellisuuden ymmärtäminen ei ole valinnaista. Se on selviytymistä.

Google DeepMindin Genie 3 ottaa erilaisen lähestymistavan keskittyen interaktiiviseen maailman generointiin, jossa mallia voidaan "pelata" kuin videopelillympäristöä.

PAN-kokeilu

Mohamed bin Zayed -yliopiston tutkijat esittelivät äskettäin PAN:in, yleisen maailmamallin, joka suorittaa niin kutsuttuja "ajatuskokeita" kontrolloiduissa simulaatioissa.

Tärkein innovaatio on maailmamallinnuksen käsitteleminen generatiivisena video-ongelmana. Sen sijaan että ohjelmoisi fysiikkaa eksplisiittisesti, malli oppii generoimaan videojatkoja, jotka kunnioittavat fyysisiä lakeja. Kun sille annetaan aloituskohtaus ja ehdotettu toiminto, se voi "kuvitella" mitä tapahtuu seuraavaksi.

Tällä on syvällisiä vaikutuksia robotiikkaan. Ennen kuin humanoidirobotti kurottaa kohti tuota kahvikuppia, se voi ajaa satoja simuloituja yrityksiä oppien, mitkä lähestymikulmat toimivat ja mitkä päättyvät kahviin lattialla.

Miljardin robotin tulevaisuus

Nämä eivät ole mielivaltaisia lukuja dramaattisen vaikutuksen vuoksi. Toimialaprognoosit todella osoittavat tulevaisuuteen, jossa humanoidirobotit yleistyvät yhtä paljon kuin älypuhelimet. Ja jokainen niistä tarvitsee maailmamalleja toimiakseen turvallisesti ihmisten rinnalla.

Sovellukset ulottuvat humanoidirobottien ulkopuolelle:

Missä videogenerointi kohtaa maailman ymmärtämisen

Jos olet seurannut tekoälyn videogenerointia, saatat huomata jonkin verran päällekkäisyyttä tässä. Työkalut kuten Sora 2 ja Veo 3 generoivat jo huomattavan realistista videota. Eivätkö nekin ole maailmamalleja?

Kyllä ja ei.

OpenAI on eksplisiittisesti positioinut Soran maailman simulointikyvykkyyksien omaavaksi. Malli selvästi ymmärtää jotain fysiikasta. Katso mitä tahansa Sora-generointia, ja näet realistisen valaistuksen, uskottavan liikkeen ja esineet, jotka käyttäytyvät enimmäkseen oikein.

Mutta on ratkaiseva ero uskottavan näköisen videon generoinnin ja fyysisen kausaalisuuden todellisen ymmärtämisen välillä. Nykyiset videogeneraattorit on optimoitu visuaaliseen realismiin. Maailmamallit on optimoitu ennustustarkkuuteen.

Hallusinaatio-ongelma

Tässä on epämukava totuus: maailmamallit kärsivät samoista hallusinaatio-ongelmista, jotka vaivaavat LLM:iä.

Kun ChatGPT itsevarmasti esittää väärän tosiasian, se on ärsyttävää. Kun maailmamalli itsevarmasti ennustaa, että robotti voi kävellä seinän läpi, se on vaarallista.

Nykyiset järjestelmät heikkenevät pidempien sekvenssien yli menettäen johdonmukaisuutta mitä kauemmas ne projisoivat tulevaisuuteen. Tämä luo perustavanlaatuisen jännitteen: hyödyllisimmät ennusteet ovat pitkän aikavälin ennusteita, mutta ne ovat myös vähiten luotettavia.

Tutkijat hyökkäävät tätä ongelmaa vastaan useista kulmista. Jotkut keskittyvät parempaan koulutusdataan. Toiset työskentelevät arkkitehtuuristen innovaatioiden parissa, jotka ylläpitävät kohtauksen johdonmukaisuutta. Vielä toiset puolustavat hybridilähestymistapoja, jotka yhdistävät opitut maailmamallit eksplisiittisiin fyysisiin rajoitteisiin.

Qwen 3-VL -läpimurto

Näkö-kielipuolella Alibaban Qwen 3-VL edustaa nykyistä huipputasoa avoimen lähdekoodin malleille.

Mikä tekee Qwen 3-VL:stä erityisen mielenkiintoisen, on sen "agenttiset" kyvyt. Malli voi operoida graafisia käyttöliittymiä, tunnistaa UI-elementtejä, ymmärtää niiden toimintoja ja suorittaa reaalimaailman tehtäviä työkalujen kutsumisen kautta.

Tämä on silta ymmärryksen ja toiminnan välillä, jota maailmamallit tarvitsevat.

Miksi tämä on tärkeää luojille

Jos olet videontekijä, elokuvantekijä tai animaattori, maailmamallit saattavat vaikuttaa kaukaisilta päivittäisestä työstäsi. Mutta seuraukset ovat lähempänä kuin luulet.

Nykyiset tekoälyvideot-työkalut kamppailevat fyysisen johdonmukaisuuden kanssa. Esineet leikkaavat toistensa läpi. Painovoima käyttäytyy epäjohdonmukaisesti. Syy ja seuraus sekoittuvat. Nämä kaikki ovat oireita malleista, jotka voivat generoida realistisia pikseleitä, mutta eivät todella ymmärrä fyysisiä sääntöjä, jotka ovat niiden kuvaamisen taustalla.

Massiivisilla videodatajoukoilla koulutetut maailmamallit voisivat lopulta ruokkia takaisin videogenerointiin tuottaen tekoälytyökaluja, jotka luonnostaan kunnioittavat fyysisiä lakeja. Kuvittele videogeneraattori, jossa sinun ei tarvitse kehottaa "realistista fysiikkaa", koska malli jo tietää miten todellisuus toimii.

Tie eteenpäin

Maailmamallit edustavat ehkä kunnianhimoisinta tavoitetta tekoälyssä: opettaa koneita ymmärtämään fyysistä todellisuutta kuten ihmiset ymmärtävät. Ei eksplisiittisen ohjelmoinnin kautta, vaan havainnoinnin, päättelyn ja mielikuvituksen kautta.

Olemme vielä alkuvaiheessa. Nykyiset järjestelmät ovat vaikuttavia demonstraatioita, eivät tuotantovalmiita ratkaisuja. Mutta suunta on selvä.

Yritykset, jotka investoivat voimakkaasti tälle alueelle, NVIDIA, Google DeepMind, OpenAI ja lukuisat startup-yritykset, lyövät vetoa siitä, että fyysinen älykkyys on seuraava raja digitaalisen älykkyyden jälkeen.

Kun otetaan huomioon, kuinka muuttavia LLM:t ovat olleet tekstipohjaiselle työlle, kuvittele vaikutus, kun tekoäly voi ymmärtää ja olla vuorovaikutuksessa fyysisen maailman kanssa yhtä sujuvasti.

Se on videokielimallien lupaus. Siksi tämä raja on tärkeä.