Video jezički modeli: Sledeća granica nakon LLM-ova i AI agenata

Proveli smo poslednjih nekoliko godina učeći AI da čita, piše i čak rasuđuje kroz složene probleme. Ali evo u čemu je stvar: sve se to dešava u digitalnom svetu. ChatGPT vam može napisati pesmu o šetnji kroz šumu, ali nema pojma kakav je stvarno osećaj prekoračiti palo stablo ili se sagnuti ispod niske grane.

Modeli sveta su tu da to promene.

Šta su video jezički modeli?

Zamislite ih kao evoluciju vizuelno-jezičkih modela, ali sa ključnim dodatkom: vremenskim razumevanjem. Tamo gde standardni VLM posmatra jednu sliku i odgovara na pitanja o njoj, video jezički model posmatra razvijanje sekvenci i uči pravila koja upravljaju fizičkom realnošću.

Ovo nije samo akademska radoznalost. Praktične implikacije su zapanjujuće.

Kada robot treba da podigne šoljicu kafe, ne može samo da prepozna "šoljicu" na slici. On mora da razume:

• ✓Kako se objekti ponašaju kada se guraju ili podižu
• ✓Šta se dešava kada se tečnost zapljusne
• ✓Kako sopstveni pokreti utiču na scenu
• ✓Koje su akcije fizički moguće, a koje nemoguće

Ovde na scenu stupaju modeli sveta.

Od simulacije do akcije

Koncept je elegantan: umesto ručnog kodiranja fizičkih pravila, trenirate AI na milionima sati video-snimaka koji prikazuju kako svet zapravo funkcioniše. Model uči o gravitaciji, trenju, trajnosti objekata i uzročnosti ne iz jednačina, već iz posmatranja.

NVIDIA Cosmos predstavlja jedan od najambicioznijih pokušaja u ovoj oblasti. Njihov vlasnički model sveta dizajniran je posebno za primenu u robotici, gde razumevanje fizičke realnosti nije opciono. To je pitanje opstanka.

Google DeepMind-ov Genie 3 zauzima drugačiji pristup, fokusirajući se na interaktivno generisanje sveta gde se model može "igrati" poput okruženja u video-igri.

PAN eksperiment

Istraživači sa Univerziteta Mohamed bin Zayed nedavno su predstavili PAN, opšti model sveta koji izvodi ono što nazivaju "misaonim eksperimentima" u kontrolisanim simulacijama.

Ključna inovacija je tretiranje modelovanja sveta kao generativnog video-problema. Umesto eksplicitnog programiranja fizike, model uči da generiše nastavke videa koji poštuju fizičke zakone. Kada mu se zada početna scena i predložena akcija, on može da "zamisli" šta se sledeće dešava.

Ovo ima duboke implikacije za robotiku. Pre nego što humanoidni robot posegne za tom šoljicom kafe, može pokrenuti stotine simuliranih pokušaja, učeći koji uglovi pristupa funkcionišu, a koji se završavaju kafom na podu.

Budućnost sa milijardu robota

Ovo nisu proizvoljni brojevi izvučeni radi dramatičnog efekta. Industrijske projekcije zaista ukazuju na budućnost u kojoj će humanoidni roboti postati uobičajeni poput pametnih telefona. A svakom od njih biće potrebni modeli sveta da bi bezbedno funkcionisali pored ljudi.

Primene se šire i izvan humanoidnih robota:

Gde se generisanje videa susreće sa razumevanjem sveta

Ako ste pratili generisanje AI videa, možda ćete primetiti preklapanje. Alati kao što su Sora 2 i Veo 3 već generišu izuzetno realističan video. Zar nisu i oni modeli sveta?

I da i ne.

OpenAI je eksplicitno pozicionirao Sora model kao sistem sa mogućnostima simulacije sveta. Model očigledno razume nešto o fizici. Pogledajte bilo koju Sora generaciju i videćete realistično osvetljenje, uverljivo kretanje i objekte koji se uglavnom ponašaju ispravno.

Ali postoji ključna razlika između generisanja videa koji izgleda uverljivo i stvarnog razumevanja fizičke uzročnosti. Trenutni video-generatori su optimizovani za vizuelni realizam. Modeli sveta su optimizovani za tačnost predviđanja.

Problem halucinacije

Evo neprijatne istine: modeli sveta pate od istih problema sa halucinacijama koji muče i LLM-ove.

Kada ChatGPT samouvereno iznese netačnu činjenicu, to je iritantno. Kada model sveta samouvereno predvidi da robot može proći kroz zid, to je opasno.

Trenutni sistemi degradiraju tokom dužih sekvenci, gubeći koherentnost što dalje projektuju u budućnost. Ovo stvara fundamentalnu tenziju: najkorisnija predviđanja su dugoročna, ali su ona ujedno i najmanje pouzdana.

Istraživači napadaju ovaj problem iz više uglova. Neki se fokusiraju na bolje podatke za obuku. Drugi rade na arhitektonskim inovacijama koje održavaju konzistentnost scene. Treći se zalažu za hibridne pristupe koji kombinuju naučene modele sveta sa eksplicitnim fizičkim ograničenjima.

Proboj modela Qwen 3-VL

Što se tiče vizuelno-jezičke strane, Alibabin Qwen 3-VL predstavlja trenutni vrhunac tehnologije (state of the art) među modelima otvorenog koda.

Ono što Qwen 3-VL čini posebno zanimljivim jesu njegove "agentske" mogućnosti. Model može da upravlja grafičkim interfejsima, prepoznaje UI elemente, razume njihove funkcije i izvršava zadatke u realnom svetu pozivanjem alata.

Ovo je most između razumevanja i akcije koji je potreban modelima sveta.

Zašto je ovo važno za kreatore

Ako ste video-kreator, filmski stvaralac ili animator, modeli sveta mogu vam delovati daleko od svakodnevnog rada. Ali implikacije su bliže nego što mislite.

Simptomi koje već prepoznajete

Trenutni AI video-alati imaju problema sa fizičkom konzistentnošću, a neuspesi imaju zajednički uzrok:

• Objekti prolaze jedni kroz druge, jer ništa u modelu ne predstavlja objekat kao stvar koja zauzima prostor.
• Gravitacija se ponaša nekonzistentno između kadrova, jer se svaki kadar uzorkuje nezavisno.
• Uzrok i posledica se mešaju, jer model predviđa kako kadar izgleda, a ne šta se sledeće dešava.

Sve su ovo simptomi modela koji mogu generisati realistične piksele, ali ne razumeju zaista fizička pravila koja leže u osnovi onoga što prikazuju.

Šta model sveta menja

Model sveta je sistem koji održava reprezentaciju same scene, a ne samo poslednjeg kadra. Ta razlika je ono što omogućava objektu da ostane tamo gde je bio kada ga kamera napusti i vrati se.

Modeli sveta trenirani na masivnim video-skupovima podataka mogli bi na kraju poboljšati generisanje videa, stvarajući AI alate koji inherentno poštuju fizičke zakone. Zamislite video-generator gde ne morate unositi prompt za "realističnu fiziku" jer model već zna kako realnost funkcioniše.

Šta ovo znači za vaš sledeći projekat

Ništa od ovoga vam danas nije dostupno kao proizvod, i iz toga sledi iskrena preporuka.

• Ako objavljujete video ovog kvartala: potpuno zanemarite modele sveta i birajte po parametrima koji postoje sada, a to su dužina kadra, konzistentnost identiteta i cena po sekundi. Model koji rasuđuje o fizici nije u užem izboru, jer nijedan takav ne postoji.
• Ako planirate proces za sledeću godinu: parametar koji vredi pratiti jeste da li generator održava objekat stabilnim kada napusti kadar i vrati se. Taj jedan test razdvaja model sveta od veoma dobrog prediktora kadrova, a možete ga pokrenuti na bilo kom alatu za oko jedan minut.
• Ako birate šta da naučite: prenosiva veština je planiranje kadrova oko ograničenja modela, a ne formulisanje promptova, jer se ograničenja menjaju sporo, dok se formulacija menja sa svakim novim izdanjem.

Tvrdnja u koju treba sumnjati jeste svaki alat koji reklamira fizičko razumevanje bez prikazivanja neisečenog kadra. Takva demonstracija je jeftina za izradu, pa je njeno odsustvo sa lansiranja vredno pažnje.

Put pred nama

Modeli sveta predstavljaju možda najambiciozniji cilj u AI-ju: učenje mašina da razumeju fizičku realnost na način na koji to čine ljudi. Ne kroz eksplicitno programiranje, već kroz posmatranje, zaključivanje i maštu.

Još uvek smo na početku. Trenutni sistemi su impresivne demonstracije, a ne rešenja spremna za proizvodnju. Ali putanja je jasna.

Kompanije koje značajno ulažu u ovu oblast, NVIDIA, Google DeepMind, OpenAI i brojni startapi, klade se da je fizička inteligencija sledeća granica nakon digitalne inteligencije.

S obzirom na to koliko su LLM-ovi bili transformativni za rad zasnovan na tekstu, zamislite uticaj kada AI bude mogao da razume fizički svet i komunicira sa njim jednako tečno.

To je obećanje video jezičkih modela. Zato je ova granica važna.

---

Izvori

• Morgan Stanley: Procenjuje se da će globalna populacija humanoidnih robota dostići skoro jednu milijardu do 2050. godine (Morgan Stanley)