מודלי שפת וידאו: החזית הבאה אחרי LLMs וסוכני AI

בילינו את השנים האחרונות בלמידת בינה מלאכותית לקרוא, לכתוב ואפילו להסיק מסקנות בבעיות מורכבות. אבל הנה העניין: כל זה קורה בעולם הדיגיטלי. ChatGPT יכול לכתוב לך שיר על הליכה ביער, אבל אין לו מושג איך זה באמת מרגיש לצעוד מעל גזע עץ שנפל או להתכופף תחת ענף נמוך.

מודלי עולם נמצאים כאן כדי לשנות את זה.

מהם מודלי שפת וידאו?

חשבו עליהם כעל האבולוציה של מודלי ראייה-שפה, אך עם תוספת מכרעת: הבנה בזמן (טמפורלית). בעוד שמודל VLM סטנדרטי מסתכל על תמונה בודדת ועונה על שאלות לגביה, מודל שפת וידאו צופה ברצפים מתפתחים ולומד את החוקים המנהלים את המציאות הפיזית.

זו אינה רק סקרנות אקדמית. ההשלכות המעשיות מדהימות.

כשרובוט צריך להרים כוס קפה, הוא לא יכול רק לזהות "כוס" בתמונה. הוא צריך להבין:

• ✓איך חפצים מתנהגים כשדוחפים או מרימים אותם
• ✓מה קורה כשנוזלים משתקשקים
• ✓כיצד התנועות שלו עצמו משפיעות על הסצינה
• ✓איזה פעולות אפשריות פיזית לעומת בלתי אפשריות

כאן נכנסים לתמונה מודלי עולם.

מסימולציה לפעולה

הקונספט אלגנטי: במקום לקודד מראש חוקים פיזיקליים, מאמנים בינה מלאכותית על מיליוני שעות וידאו המראות איך העולם באמת עובד. המודל לומד כוח משיכה, חיכוך, קביעות אובייקט וסיבתיות לא מתוך משוואות, אלא מתוך תצפית.

Cosmos של NVIDIA מייצג את אחד הניסיונות השאפתניים ביותר לכך. מודל העולם הקנייני שלהם מיועד במיוחד ליישומי רובוטיקה, שבהם הבנת המציאות הפיזית אינה רשות. היא הישרדות.

Genie 3 של Google DeepMind נוקט בגישה שונה, ומתמקד ביצירת עולם אינטראקטיבית שבה ניתן "לשחק" במודל כמו בסביבת משחק וידאו.

ניסוי PAN

חוקרים באוניברסיטת מוחמד בן זאיד חשפו לאחרונה את PAN, מודל עולם כללי המבצע מה שהם מכנים "ניסויי מחשבה" בסימולציות מבוקרות.

החדשנות המרכזית היא התייחסות למודלים של עולם כאל בעיית וידאו גנרטיבית. במקום לתכנת פיזיקה באופן מפורש, המודל לומד ליצור המשכים של וידאו המכבדים את חוקי הפיזיקה. כשנותנים לו סצינת התחלה ופעולה מוצעת, הוא יכול "לדמיין" מה יקרה בהמשך.

לכך יש השלכות עמוקות על רובוטיקה. לפני שרובוט דמוי אנוש מושיט יד לכוס הקפה הזו, הוא יכול להריץ מאות ניסיונות ממושכים בסימולציה, וללמוד אילו זוויות גישה עובדות ואילו מסתיימות עם קפה על הרצפה.

עתיד מיליארד הרובוטים

אלה אינם מספרים אקראיים שנשלפו לצורך רושם דרמטי. תחזיות התעשייה מצביעות באופן אמיתי על עתיד שבו רובוטים דמויי אנוש יהפכו לנפוצים כמו טלפונים חכמים. וכל אחד ואחד מהם יידרש למודלי עולם כדי לפעול בבטחה לצד בני אדם.

היישומים משתרעים מעבר לרובוטים דמויי אנוש:

איפה שיצירת וידאו פוגשת את הבנת העולם

אם עקבתם אחר יצירת וידאו בבינה מלאכותית, ייתכן שתבחינו בחפיפה מסוימת כאן. כלים כמו Sora 2 ו-Veo 3 כבר מייצרים וידאו מציאותי להפליא. האם הם לא מודלי עולם בעצמם?

כן ולא.

OpenAI מיצבה במפורש את Sora כבעל יכולות סימולציית עולם. המודל מבין בבירור משהו מפיזיקה. הסתכלו על כל יצירה של Sora ותראו תאורה מציאותית, תנועה הגיונית וחפצים שמתנהגים ברובם כהלכה.

אבל יש הבדל מכריע בין יצירת וידאו שנראה הגיוני לבין הבנה אמיתית של סיבתיות פיזית. מחוללי וידאו נוכחיים מותאמים לריאליזם ויזואלי. מודלי עולם מותאמים לדיוק חיזוי.

בעיית ההזיות

הנה האמת הלא נעימה: מודלי עולם סובלים מאותן בעיות הזיה שפוקדות את ה-LLMs.

כש-ChatGPT מציג בביטחון עובדה שגויה, זה מרגיז. כשמודל עולם חוזה בביטחון שרובוט יכול לעבור דרך קיר, זה מסוכן.

מערכות נוכחיות מידרדרות לאורך רצפים ארוכים יותר, ומאבדות עקביות ככל שהן מנבאות רחוק יותר לעתיד. זה יוצר מתח יסודי: התחזיות השימושיות ביותר הן ארוכות טווח, אך הן גם הכי פחות אמינות.

חוקרים תוקפים בעיה זו מזוויות מרובות. חלקם מתמקדים בנתוני אימון טובים יותר. אחרים עובדים על חידושים ארכיטקטוניים השומרים על עקביות הסצינה. אחרים עדיין מצדדים בגישות היברידיות המשלבות מודלי עולם שנלמדו עם אילוצים פיזיים מפורשים.

פריצת הדרך של Qwen 3-VL

בצד הראייה-שפה, Qwen 3-VL של Alibaba מייצג את חזית הטכנולוגיה (state of the art) הנוכחית עבור מודלים בקוד פתוח.

מה שפועל ב-Qwen 3-VL בצורה מעניינת במיוחד הן היכולות ה"סוכניות" (agentic) שלו. המודל יכול להפעיל ממשקים גרפיים, לזהות רכיבי ממשק משתמש, להבין את תפקודם ולבצע משימות בעולם האמיתי באמצעות הפעלת כלים.

זהו הגשר בין הבנה לפעולה שמודלי עולם זקוקים לו.

למה זה משנה ליוצרים

אם אתם יוצרי וידאו, יוצרי סרטים או אנימטורים, מודלי עולם עשויים להיראות רחוקים מהעבודה היומיומית שלכם. אבל ההשלכות קרובות מכפי שאתם חושבים.

התסמינים שאתם כבר מכירים

כלי וידאו נוכחיים בבינה מלאכותית מתקשים עם עקביות פיזית, ולכשלים יש סיבה משותפת:

• חפצים עובדים אחד דרך השני (clip), מכיוון ששום דבר במודל אינו מייצג חפץ כדבר שתופס מקום.
• כוח המשיכה מתנהג באופן לא עקבי בין שוטים, מכיוון שכל שוט נלקח באופן עצמאי.
• סיבה ותוצאה משתבשות, מכיוון שהמודל חוזה איך פריים נראה ולא מה קורה בהמשך.

כל אלה הם תסמינים של מודלים שיכולים לייצר פיקסלים מציאותיים אך אינם מבינים באמת את החוקים הפיזיקליים העומדים בבסיס מה שהם מתארים.

מה מודל עולם משנה

מודל עולם הוא מערכת השומרת על ייצוג של הסצינה עצמה, ולא רק של הפריים האחרון. הבחנה זו היא שמאפשרת לאובייקט להישאר היכן שהיה כשהמצלמה עוזבת אותו וחוזרת.

מודלי עולם שאומנו על מאגרי נתוני וידאו עצומים עשויים בסופו של דבר להזין בחזרה את יצירת הווידאו, וליצור כלי AI שמכבדים מטבעם חוקים פיזיקליים. דמיינו מחולל וידאו שבו אינכם צריכים לבקש ב-Prompt "פיזיקה מציאותית" כיוון שהמודל כבר יודע איך המציאות עובדת.

מה זה אומר על הפרויקט הבא שלכם

שום דבר כאן אינו זמין עבורכם כיום כמוצר, וההמלצה הכנה נובעת מכך.

• אם אתם משחררים וידאו ברבעון הזה: התעלמו לחלוטין ממודלי עולם ובחרו לפי הצירים שקיימים כעת, שהם אורך השוט, עקביות הזהות ועלות לשנייה. מודל שמסיק מסקנות על פיזיקה אינו ברשימה המקוצרת, כיוון שאין כזה.
• אם אתם מתכננים צינור עבודה (pipeline) לשנה הבאה: הציר ששווה לעקוב אחריו הוא האם מחולל שומר על אובייקט יציב כשהוא יוצא מהפריים וחוזר. המבחן היחיד הזה מפריד בין מודל עולם לבין מנבא פריימים טוב מאוד, ואתם יכולים להריץ אותו על כל כלי תוך כדקה.
• אם אתם בוחרים מה ללמוד: המיומנות הניתנת להעברה היא תכנון שוטים סביב המגבלות של מודל ולא ניסוח הפרומפט, מכיוון שהמגבלות זזות לאט והניסוח משתנה בכל גרסה.

הטענה שיש להתייחס אליה בחשדנות היא של כל כלי שמשווק הבנה פיזית מבלי להציג שוט לא ערוך (uncut shot). הדגמה כזו זולה להפקה, ולכן היעדרה מהשקה שווה ששים אליה לב.

הדרך שלפנינו

מודלי עולם מייצגים אולי את היעד השאפתני ביותר בבינה מלאכותית: ללמד מכונות להבין את המציאות הפיזית כפי שבני אדם מבינים אותה. לא באמצעות תכנות מפורש, אלא באמצעות תצפית, הסקה ודמיון.

אנחנו עדיין בשלב מוקדם. המערכות הנוכחיות הן הדגמות מרשימות, ולא פתרונות מוכנים לייצור. אבל המסלול ברור.

החברות שמשקיעות רבות בתחום זה, NVIDIA, Google DeepMind, OpenAI וסטארטאפים רבים, מהמרות שאינטליגנציה פיזית היא החזית הבאה אחרי אינטליגנציה דיגיטלית.

בהתחשב במידת השינוי שהביאו ה-LLMs לעבודה מבוססת טקסט, דמיינו את ההשפעה כאשר בינה מלאכותית תוכל להבין את העולם הפיזי ולפעול בתוכו באותה שוטפות.

זוהי ההבטחה של מודלי שפת וידאו. זו הסיבה שהחזית הזו חשובה.

---

מקורות

• Morgan Stanley: אוכלוסיית הרובוטים דמויי האנוש הגלובלית צפויה להתקרב למיליארד עד 2050 (Morgan Stanley)