Videospråkmodeller: Den neste grensen etter LLM-er og AI-agenter

Vi har brukt de siste årene på å lære AI å lese, skrive og til og med resonnere gjennom komplekse problemer. Men her er saken: alt dette skjer i det digitale domenet. ChatGPT kan skrive et dikt om å gå gjennom en skog, men den aner ikke hvordan det faktisk føles å gå over en velt stamme eller dukke under en lav gren.

Verdensmodeller er her for å endre det.

Hva er videospråkmodeller?

Tenk på dem som en evolusjon av syns-språkmodeller, men med et avgjørende tillegg: temporal forståelse. Der en standard VLM ser på et enkelt bilde og svarer på spørsmål om det, observerer en videospråkmodell sekvenser som utfolder seg og lærer reglene som styrer fysisk virkelighet.

Dette er ikke bare akademisk nysgjerrighet. De praktiske konsekvensene er forbløffende.

Når en robot trenger å plukke opp en kaffekopp, kan den ikke bare gjenkjenne "kopp" i et bilde. Den må forstå:

• ✓Hvordan objekter oppfører seg når de skyves eller løftes
• ✓Hva som skjer når væsker skvulper
• ✓Hvordan dens egne bevegelser påvirker scenen
• ✓Hvilke handlinger som er fysisk mulige versus umulige

Det er her verdensmodeller kommer inn.

Fra simulering til handling

Konseptet er elegant: i stedet for å hardkode fysiske regler, trener du AI på millioner av timer med video som viser hvordan verden faktisk fungerer. Modellen lærer tyngdekraft, friksjon, objektpermanens og kausalitet ikke fra ligninger, men fra observasjon.

NVIDIAs Cosmos representerer et av de mest ambisiøse forsøkene på dette. Deres proprietære verdensmodell er designet spesifikt for robotikkapplikasjoner, der forståelse av fysisk virkelighet ikke er valgfritt. Det er overlevelse.

Google DeepMinds Genie 3 tar en annen tilnærming og fokuserer på interaktiv verdensgenerering der modellen kan "spilles" som et videospillmiljø.

PAN-eksperimentet

Forskere ved Mohamed bin Zayed University avduket nylig PAN, en generell verdensmodell som utfører det de kaller "tankeeksperimenter" i kontrollerte simuleringer.

Den viktigste innovasjonen er å behandle verdensmodellering som et generativt videoproblem. I stedet for å eksplisitt programmere fysikk, lærer modellen å generere videofortsettelser som respekterer fysiske lover. Når den får en startscene og en foreslått handling, kan den "forestille seg" hva som skjer videre.

Dette har dype implikasjoner for robotikk. Før en humanoid robot strekker seg etter den kaffekoppen, kan den kjøre hundrevis av simulerte forsøk og lære hvilke tilnærmingsvinkler som fungerer og hvilke som ender med kaffe på gulvet.

Fremtiden med en milliard roboter

Dette er ikke vilkårlige tall trukket for dramatisk effekt. Bransjeprognoser peker virkelig mot en fremtid der humanoide roboter blir like vanlige som smarttelefoner. Og hver eneste av dem vil trenge verdensmodeller for å fungere trygt sammen med mennesker.

Anvendelsene strekker seg utover humanoide roboter:

Der videogenerering møter verdensforståelse

Hvis du har fulgt med på AI-videogenerering, legger du kanskje merke til noe overlapping her. Verktøy som Sora 2 og Veo 3 genererer allerede bemerkelsesverdig realistisk video. Er ikke de også verdensmodeller?

Ja og nei.

OpenAI har eksplisitt posisjonert Sora som å ha verdenssimuleringsfunksjoner. Modellen forstår tydeligvis noe om fysikk. Se på hvilken som helst Sora-generasjon, og du vil se realistisk belysning, plausibel bevegelse og objekter som oppfører seg for det meste korrekt.

Men det er en avgjørende forskjell mellom å generere video som ser plausibel ut og virkelig å forstå fysisk kausalitet. Nåværende videogeneratorer er optimalisert for visuell realisme. Verdensmodeller er optimalisert for prediksjonsnøyaktighet.

Hallusinasjonsproblemet

Her er den ubehagelige sannheten: verdensmodeller lider av de samme hallusineringsproblemene som plager LLM-er.

Når ChatGPT selvsikkert fastslår et falskt faktum, er det irriterende. Når en verdensmodell selvsikkert forutsier at en robot kan gå gjennom en vegg, er det farlig.

Nåværende systemer degraderes over lengre sekvenser og mister sammenheng jo lenger de projiserer inn i fremtiden. Dette skaper en grunnleggende spenning: de mest nyttige prediksjonene er langsiktige, men de er også de minst pålitelige.

Forskere angriper dette problemet fra flere vinkler. Noen fokuserer på bedre treningsdata. Andre jobber med arkitektoniske innovasjoner som opprettholder scenesammenheng. Atter andre går inn for hybride tilnærminger som kombinerer lærte verdensmodeller med eksplisitte fysiske begrensninger.

Qwen 3-VL-gjennombruddet

På syns-språksiden representerer Alibabas Qwen 3-VL den nåværende state of the art for open source-modeller.

Det som gjør Qwen 3-VL spesielt interessant, er dens "agentiske" evner. Modellen kan operere grafiske grensesnitt, gjenkjenne UI-elementer, forstå deres funksjoner og utføre virkelige oppgaver gjennom verktøyinvoking.

Dette er broen mellom forståelse og handling som verdensmodeller trenger.

Hvorfor dette betyr noe for skapere

Hvis du er videoskaper, filmskaper eller animator, kan verdensmodeller virke fjerne fra ditt daglige arbeid. Men konsekvensene er nærmere enn du tror.

Nåværende AI-videoverktøy sliter med fysisk konsistens. Objekter klipper gjennom hverandre. Tyngdekraften oppfører seg inkonsekvent. Årsak og virkning blir blandet sammen. Alt dette er symptomer på modeller som kan generere realistiske piksler, men som ikke virkelig forstår de fysiske reglene som ligger til grunn for det de avbilder.

Verdensmodeller trent på massive videodatasett kan til slutt mate tilbake til videogenerering og produsere AI-verktøy som i seg selv respekterer fysiske lover. Forestill deg en videogenerator der du ikke trenger å prompte for "realistisk fysikk" fordi modellen allerede vet hvordan virkeligheten fungerer.

Veien videre

Verdensmodeller representerer kanskje det mest ambisiøse målet innen AI: å lære maskiner å forstå fysisk virkelighet slik mennesker gjør. Ikke gjennom eksplisitt programmering, men gjennom observasjon, slutning og fantasi.

Vi er fortsatt tidlig ute. Nåværende systemer er imponerende demonstrasjoner, ikke produksjonsklare løsninger. Men retningen er klar.

Selskapene som investerer tungt i dette området, NVIDIA, Google DeepMind, OpenAI og tallrike oppstartsbedrifter, satser på at fysisk intelligens er den neste grensen etter digital intelligens.

Gitt hvor transformative LLM-er har vært for tekstbasert arbeid, forestill deg virkningen når AI kan forstå og samhandle med den fysiske verden like flytende.

Det er løftet fra videospråkmodeller. Det er derfor denne grensen betyr noe.