Video Sproochmodeller: Déi nächst Frontier no LLMs an AI Agenten

Mir hunn déi lescht Joren domat verbruecht, AI Liesen, Schreiwen an och komplex Problemer ze léisen ze léieren. Mee hei ass de Punkt: dat alles geschitt am digitale Beräich. ChatGPT kann Iech e Gedicht iwwer e Spazéiergang duerch e Bësch schreiwen, mee et huet keng Ahnung wéi et sech tatsächlech ufillt, iwwer e gefalene Stamm ze klammen oder ënner engem nidderegen Ast duerch ze goen.

Weltmodeller sinn hei fir dat ze änneren.

Wat sinn Video Sproochmodeller?

Denkt un si als d'Evolutioun vu Visioun-Sprooch Modeller, awer mat enger entscheedender Ergänzung: temporaalt Verständnis. Wou e standardiséierte VLM op een eenzegt Bild kuckt an d'Froen doriwwer beäntwert, observéiert e Video Sproochmodell wéi Sequenzen sech entwéckelen a léiert d'Reegelen, déi d'kierperlech Realitéit regéieren.

Dat ass net nëmme akademesch Virwëtz. D'praktesch Implikatiounen si beträchtlech.

Wann e Roboter eng Kaffistaass muss ophuelen, kann en net just "Taass" an engem Bild erkennen. Hie muss verstoen:

• ✓Wéi Objete sech behuelen wann se gedréckt oder gehuewe ginn
• ✓Wat geschitt wann Flëssegkeete schwappen
• ✓Wéi seng eegen Bewegunge d'Zeen beaflossen
• ✓Wéi eng Aktiounen physesch méiglech sinn versus onméiglech

Hei kommen d'Weltmodeller an d'Spill.

Vu Simulatioun zu Aktioun

D'Konzept ass elegant: amplaz vun Hardcoding kierperlech Reegelen, trainéiert Dir AI op Millioune vu Stonnen u Videoen, déi weisen wéi d'Welt tatsächlech funktionéiert. D'Modell léiert Gravitéit, Reibung, Objektpermanenz a Kausalitéit net aus Equatiounen, mee aus Observatioun.

NVIDIA hir Cosmos representéiert ee vun den ambitiéissten Versuchen hei. Hiert proprietärt Weltmodell ass spezifesch fir Robotik Uwendunge konzipéiert, wou d'Verständnis vun der kierperlecher Realitéit net fakultativ ass. Et ass essentiell.

Google DeepMind hiren Genie 3 hëlt en aneren Usaz a fokusséiert op interaktiv Weltgeneratioun, wou d'Modell wéi en Videospill Ëmfeld "gespillt" ka ginn.

Den PAN Experiment

Fuerscher un der Mohamed bin Zayed Universitéit hunn rezent PAN virgestallt, e generellt Weltmodell dat "Gedankenexperimenter" a kontrolléierte Simulatiounen duerchféiert.

D'Schlësselinnovatioun ass d'Weltmodelléierung als generativt Video Problem ze behandelen. Amplaz explizit Physik ze programméieren, léiert d'Modell Video Fortsetzungen ze generéieren, déi physesch Gesetzer respektéieren. Wann eng Startzeen an eng proposéiert Aktioun ginn, kann et sech "virstellen" wat als nächst geschitt.

Dëst huet déif Implikatiounen fir d'Robotik. Ier en humanoide Roboter no där Kaffistaass gräift, kann hien Honnerte vu simuléierten Versich maachen a léieren wéi eng Approche Winkele funktionéieren a wéi eng mam Kaffi um Buedem enden.

D'Zukunft mat enger Milliard Roboter

Dëst sinn keng arbiträr Zuelen, déi fir dramatesche Effekt gezunn goufen. Industrieprojektiounen weisen tatsächlech op eng Zukunft, wou humanoide Roboter sou heefeg wéi Smartphones ginn. An all eenzele vun hinnen wäert Weltmodeller brauche fir sécher niewent Mënschen ze funktionéieren.

D'Uwendungen ginn iwwer humanoide Roboter eraus:

Wou Video Generatioun op Weltverständnis trëfft

Wann Dir d'AI Video Generatioun verfollegt hutt, kéint Dir eng gewëssen Iwwerlappung hei bemierken. Tooler wéi Sora 2 an Veo 3 generéieren schonn remarkabel realistesch Videoen. Sinn dat net och Weltmodeller?

Jo an nee.

OpenAI huet Sora explizit als Welt Simulatioun Fäegkeete positionéiert. D'Modell versteet kloer eppes iwwer Physik. Kuckt Iech eng Sora Generatioun un an Dir gesitt realistesch Liichtung, plausibel Bewegung, an Objeten, déi sech meeschtens korrekt behuelen.

Mee et gëtt en entscheedenden Ënnerscheed tëschent plausibel ausgesinn Videoen ze generéieren an echt kierperlech Kausalitéit ze verstoen. Aktuell Video Generatoren sinn fir visuellen Realismus optimiséiert. Weltmodeller sinn fir predictiv Genauegkeet optimiséiert.

D'Halluzinatiouns Problem

Hei ass déi onbequem Wourecht: Weltmodeller leiden ënner de selwechte Halluzinatiouns Problemer, déi LLMs plagen.

Wann ChatGPT selbstbewosst e falschen Fakt seet, ass et nerveg. Wann e Weltmodell selbstbewosst virausseet, datt e Roboter duerch eng Mauer goe kann, ass et geféierlech.

Aktuell Systemer degradéieren iwwer méi laang Sequenzen a verléieren d'Kohärenz wat méi wäit se an d'Zukunft projezéieren. Dëst schafe eng fundamental Spannung: déi nëtzlechst Viraussoe sinn laangfristeg, mee si sinn och déi mannst zouverlässeg.

Fuerscher attackéieren dëse Problem aus verschiddene Winkelen. E puer fokusséieren op besser Trainingsdaten. Anerer schaffen un architektonesche Innovatiounen, déi d'Zeen Konsistenz erhalen. Nach anerer plädéieren fir hybrid Usätz, déi geléiert Weltmodeller mat expliziten kierperlech Aschränkunge kombinéieren.

Den Qwen 3-VL Duerchbroch

Op der Visioun-Sprooch Säit representéiert Alibaba hiren Qwen 3-VL den aktuellen Stand vun der Technik fir Open-Source Modeller.

Wat Qwen 3-VL besonnesch interessant mécht sinn seng "agentesch" Fäegkeeten. D'Modell kann grafesch Interfaces bedéngen, UI Elementer erkennen, hir Funktiounen verstoen, an echt Welt Aufgaben duerch Tool Invokatioun ausféieren.

Dëst ass d'Bréck tëschent Verständnis an Aktioun, déi Weltmodeller brauchen.

Firwat dëst fir Creatoren wichteg ass

Wann Dir e Video Creator, Filmmacher oder Animator sidd, schénge Weltmodeller wäit ewech vun Ärem deeglechen Aarbecht. Mee d'Implikatiounen si méi no wéi Dir denkt.

Aktuell AI Video Tooler kämpfe mat kierperlecher Konsistenz. Objete ginn duercherneen. Gravitéit behuelt sech inkonsistent. Ursaach an Effekt gi verduddelt. Dat sinn alles Symptomer vu Modeller, déi realistesch Pixele generéiere kënnen, mee déi kierperlesch Reegelen, déi hanner deem leien, wat se duerstellen, net wierklech verstoen.

Weltmodeller, déi op massive Video Datesets trainéiert ginn, kéinte schlussendlech an d'Video Generatioun zréckféieren an AI Tooler produzéieren, déi inherent kierperlesch Gesetzer respektéieren. Stellt Iech e Video Generator vir, wou Dir net fir "realistesch Physik" prompts muss well d'Modell scho weess wéi d'Realitéit funktionéiert.

De Wee virun

Weltmodeller representéieren vläicht dat ambitiéisst Zil an der AI: Maschinnen ze léiere kierperlesch Realitéit ze verstoen wéi Mënschen et maachen. Net duerch explizit Programmatioun, mee duerch Observatioun, Inferenz an Imaginatioun.

Mir sinn nach fréi. Aktuell Systemer sinn impressiv Demonstratiounen, keng produktiounsbereet Léisungen. Mee d'Trajektoire ass kloer.

D'Firmen, déi staark an dëse Beräich investéieren, NVIDIA, Google DeepMind, OpenAI a vill Startups, wiede dorop, datt kierperlech Intelligenz déi nächst Frontier no digitaler Intelligenz ass.

Wann Dir bedenkt wéi transformativ LLMs fir textbaséiert Aarbecht waren, stellt Iech den Impakt vir wann AI d'kierperlech Welt grad sou fléissend verstoe an domat interagéiere kann.

Dat ass d'Verspriechen vu Video Sproochmodeller. Dofir ass dës Frontier wichteg.