מודלים של שפת וידאו: הגבול הבא אחרי LLMs וסוכני AI

בילינו את השנים האחרונות בללמד AI לקרוא, לכתוב, ואפילו לחשוב דרך בעיות מורכבות. אבל הנה העניין: כל זה קורה בעולם הדיגיטלי. ChatGPT יכול לכתוב לך שיר על הליכה ביער, אבל אין לו מושג איך זה באמת מרגיש לדלג מעל גזע עץ שנפל או להתכופף מתחת לענף נמוך.

מודלים של עולם כאן כדי לשנות את זה.

מה הם מודלים של שפת וידאו?

תחשבו עליהם כאבולוציה של מודלים של ראייה-שפה, אבל עם תוספת קריטית: הבנה זמנית. בעוד VLM סטנדרטי מסתכל על תמונה בודדת ועונה על שאלות לגביה, מודל של שפת וידאו צופה ברצפים מתפתחים ולומד את הכללים ששולטים במציאות הפיזית.

זו לא רק סקרנות אקדמית. ההשלכות המעשיות מדהימות.

כשרובוט צריך להרים כוס קפה, הוא לא יכול סתם לזהות "כוס" בתמונה. הוא צריך להבין:

• ✓איך אובייקטים מתנהגים כשדוחפים או מרימים אותם
• ✓מה קורה כשנוזלים מתנדנדים
• ✓איך התנועות שלו עצמו משפיעות על הסצנה
• ✓אילו פעולות אפשריות פיזית לעומת בלתי אפשריות

כאן נכנסים מודלים של עולם לתמונה.

מסימולציה לפעולה

הקונספט אלגנטי: במקום לקוד קשיח כללים פיזיים, מאמנים AI על מיליוני שעות של וידאו שמראות איך העולם באמת עובד. המודל לומד כבידה, חיכוך, קביעות אובייקט וסיבתיות לא ממשוואות, אלא מתצפית.

Cosmos של NVIDIA מייצג אחד הניסיונות השאפתניים ביותר בכיוון הזה. מודל העולם הקנייני שלהם מתוכנן ספציפית ליישומי רובוטיקה, שם הבנת מציאות פיזית היא לא אופציונלית. זו הישרדות.

Genie 3 של Google DeepMind לוקח גישה אחרת, מתמקד ביצירת עולמות אינטראקטיביים שם אפשר "לשחק" את המודל כמו סביבת משחק וידאו.

ניסוי PAN

חוקרים באוניברסיטת מוחמד בן זאיד חשפו לאחרונה את PAN, מודל עולם כללי שמבצע מה שהם קוראים "ניסויי מחשבה" בסימולציות מבוקרות.

החידוש המפתח הוא טיפול במידול עולם כבעיה של יצירת וידאו. במקום לתכנת פיזיקה במפורש, המודל לומד לייצר המשכי וידאו שמכבדים חוקים פיזיים. כשנותנים לו סצנת התחלה ופעולה מוצעת, הוא יכול "לדמיין" מה קורה הלאה.

להבנה הזו יש השלכות עמוקות לרובוטיקה. לפני שרובוט הומנואידי מושיט יד לכוס הקפה, הוא יכול להריץ מאות ניסיונות מדומים, ללמוד אילו זוויות גישה עובדות ואילו מסתיימות עם קפה על הרצפה.

עתיד של מיליארד רובוטים

אלה לא מספרים שרירותיים שנמשכו לאפקט דרמטי. תחזיות תעשייתיות באמת מצביעות על עתיד שבו רובוטים הומנואידים יהפכו נפוצים כמו סמארטפונים. וכל אחד מהם יצטרך מודלים של עולם כדי לתפקד בבטחה לצד בני אדם.

היישומים מתרחבים מעבר לרובוטים הומנואידים:

איפה יצירת וידאו פוגשת הבנת עולם

אם עקבתם אחרי יצירת וידאו ב-AI, אולי תבחינו בחפיפה מסוימת כאן. כלים כמו Sora 2 ו-Veo 3 כבר מייצרים וידאו מציאותי להפליא. האם הם לא גם מודלים של עולם?

כן ולא.

OpenAI מיצבה במפורש את Sora כבעלת יכולות סימולציית עולם. המודל בבירור מבין משהו לגבי פיזיקה. תסתכלו על כל יצירה של Sora ותראו תאורה ריאליסטית, תנועה סבירה, ואובייקטים שמתנהגים בעיקר נכון.

אבל יש הבדל קריטי בין יצירת וידאו שנראה סביר לבין הבנה אמיתית של סיבתיות פיזית. מחוללי וידאו נוכחיים מותאמים לריאליזם ויזואלי. מודלים של עולם מותאמים לדיוק ניבוי.

בעיית ההזיות

הנה האמת הלא נוחה: מודלים של עולם סובלים מאותן בעיות הזיה שמציקות ל-LLMs.

כש-ChatGPT מצהיר בביטחון על עובדה שגויה, זה מעצבן. כשמודל עולם מנבא בביטחון שרובוט יכול ללכת דרך קיר, זה מסוכן.

מערכות נוכחיות מתדרדרות לאורך רצפים ארוכים יותר, מאבדות קוהרנטיות ככל שהן מקרינות רחוק יותר לעתיד. זה יוצר מתח בסיסי: הניבויים השימושיים ביותר הם ארוכי טווח, אבל הם גם הכי פחות אמינים.

חוקרים תוקפים את הבעיה הזו ממספר זוויות. חלקם מתמקדים בנתוני אימון טובים יותר. אחרים עובדים על חידושים ארכיטקטוניים שמשמרים עקביות סצנה. עוד אחרים תומכים בגישות היברידיות שמשלבות מודלים של עולם נלמדים עם אילוצים פיזיים מפורשים.

פריצת הדרך של Qwen 3-VL

בצד ראייה-שפה, Qwen 3-VL של עליבאבא מייצג את חזית הטכנולוגיה עבור מודלים בקוד פתוח.

מה שהופך את Qwen 3-VL למעניין במיוחד הוא היכולות ה"סוכנתיות" שלו. המודל יכול להפעיל ממשקים גרפיים, לזהות אלמנטי UI, להבין את הפונקציות שלהם, ולבצע משימות בעולם האמיתי דרך הפעלת כלים.

זהו הגשר בין הבנה לפעולה שמודלים של עולם צריכים.

למה זה חשוב ליוצרים

אם אתם יוצרי וידאו, קולנוענים או אנימטורים, מודלים של עולם אולי נראים רחוקים מהעבודה היומיומית שלכם. אבל ההשלכות קרובות ממה שאתם חושבים.

כלי וידאו AI נוכחיים מתקשים עם עקביות פיזית. אובייקטים חודרים אחד דרך השני. כבידה מתנהגת לא עקבי. סיבה ותוצאה מתבלבלים. כל אלה סימפטומים של מודלים שיכולים לייצר פיקסלים ריאליסטיים אבל לא באמת מבינים את הכללים הפיזיים שמאחורי מה שהם מתארים.

מודלים של עולם שמאומנים על דאטהסטים עצומים של וידאו עשויים בסופו של דבר להזין בחזרה ליצירת וידאו, לייצר כלי AI שמכבדים באופן מובנה חוקים פיזיים. תדמיינו מחולל וידאו שבו לא צריך לבקש "פיזיקה ריאליסטית" כי המודל כבר יודע איך המציאות עובדת.

הדרך קדימה

מודלים של עולם מייצגים אולי את המטרה השאפתנית ביותר ב-AI: ללמד מכונות להבין מציאות פיזית כמו שבני אדם עושים. לא דרך תכנות מפורש, אלא דרך תצפית, הסקה ודמיון.

אנחנו עדיין בהתחלה. מערכות נוכחיות הן הדגמות מרשימות, לא פתרונות מוכנים לייצור. אבל המגמה ברורה.

החברות שמשקיעות בכבדות בתחום הזה, NVIDIA, Google DeepMind, OpenAI, וסטארטאפים רבים, מהמרות שאינטליגנציה פיזית היא הגבול הבא אחרי אינטליגנציה דיגיטלית.

בהתחשב בכמה טרנספורמטיביים היו LLMs לעבודה מבוססת טקסט, תדמיינו את ההשפעה כש-AI יוכל להבין ולאינטראקט עם העולם הפיזי באותה שטף.

זו ההבטחה של מודלים של שפת וידאו. זו הסיבה שהגבול הזה חשוב.