ByteDance Vidi2: בינה מלאכותית שמבינה וידאו כמו עורך מקצועי

הבעיה שאף אחד לא מדבר עליה

יש לנו כיום מחוללי וידאו מדהימים מבוססי AI. Runway Gen-4.5 מוביל את טבלאות האיכות. Kling O1 מייצר אודיו מסונכרן. אבל הנה הסוד הגלוי של הפקת וידאו: רוב הזמן מושקע בעריכה, לא ביצירה.

צלם חתונות מצלם 8 שעות של חומרי גלם עבור סרטון היילייטס של 5 דקות. יוצר תוכן מקליט 45 דקות כדי לייצר סרטון TikTok של 60 שניות. לצוות ארגוני יש 200 שעות של סרטוני הדרכה שקבורים ב-SharePoint.

Vidi2 מתמודד בדיוק עם הפער הזה. הוא לא עוד מחולל תוכן. הוא מודל בינה מלאכותית שצופה בווידאו, תופס מה מתרחש בו, ועוזר לעבוד עם התוכן הזה בהיקף נרחב ובקנה מידה גדול.

מה Vidi2 עושה בפועל

ByteDance מתארת את Vidi2 כ"מודל מולטימודלי גדול להבנה ויצירה של וידאו". המודל, בעל 12 מיליארד פרמטרים, מצטיין בתחומים הבאים:

החדשנות הטכנולוגית: עיגון מרחבי-זמני

פתרונות AI קודמים לווידאו פעלו בשני ממדים נפרדים: מרחב (מה מופיע בפריים הזה) או זמן (מתי משהו קורה). Vidi2 משלב את שניהם למה ש-ByteDance מכנה "Spatio-Temporal Grounding" (עיגון מרחבי-זמני או STG).

זהו היבט קריטי מכיוון שמשימות עריכה אמיתיות דורשות את שני הממדים. משימה כמו "הסר את מיקרופון הבום" דורשת לדעת היכן הוא מופיע (מרחבי) ולמשך כמה זמן (זמני). Vidi2 מתמודד עם זה בשאילתה יחידה.

מבחני ביצועים: ניצחון על הענקיות

כאן הדברים הופכים למעניינים במיוחד. במבחן הביצועים VUE-STG של ByteDance למעקב מרחבי-זמני, Vidi2 גובר הן על Gemini 2.0 Flash והן על GPT-4o, למרות שיש לו פחות פרמטרים משניהם.

תוצאות הבנצ'מרק מצביעות על כך שהבנת וידאו מרוויחה מתכנון ייעודי יותר מאשר מסקייל גולמי. מודל שנבנה עבור וידאו מהיסוד יכול להביס מודלים כלליים גדולים יותר שמתייחסים לווידאו כהרחבה של הבנת תמונות.

כבר בשימוש בייצור: TikTok Smart Split

לא מדובר במוצר תיאורטי בלבד. Vidi2 מפעיל את תכונת "Smart Split" של TikTok, אשר:

• ✓מחלצת באופן אוטומטי רגעי שיא מסרטונים ארוכים
• ✓מייצרת כתוביות מסונכרנות לדיבור
• ✓בונה מחדש את הפריסה עבור יחסי גובה-רוחב שונים
• ✓מזהה נקודות חיתוך אופטימליות על בסיס תוכן

מיליוני יוצרים משתמשים ב-Smart Split מדי יום. המודל מוכח בסדרי גודל אמיתיים בייצור, ולא רק בתיאוריה.

קוד פתוח: הריצו אותו בעצמכם

ByteDance שחררה את Vidi2 ב-GitHub תחת רישיון CC BY-NC 4.0. המשמעות היא שימוש חופשי למחקר, חינוך ופרויקטים אישיים, אך שימוש מסחרי דורש רישוי נפרד. ההשלכות:

שחרור הקוד הפתוח ממשיך את הדפוס שראינו עם LTX Video ומעבדות AI סיניות נוספות: שחרור מודלים עוצמתיים באופן פתוח, בעוד המתחרים במערב שומרים על המודלים שלהם כקנייניים וסגורים.

יישומים מעשיים

להלן מספר תהליכי עבודה אמיתיים ש-Vidi2 מאפשר:

התאמת תוכן מחדש (Repurposing)

קלט: הקלטת פודקאסט באורך שעתיים פלט: 10 קליפים קצרים של הרגעים הטובים ביותר, כל אחד עם חיתוכי פתיחה וסיום מדויקים

המודל מזהה רגעים מושכים, מוצא נקודות חיתוך טבעיות, ומחלץ קליפים שעומדים בפני עצמם כתוכן עצמאי.

ניהול סרטוני הדרכה

קלט: 500 שעות של סרטוני הדרכה ארגוניים שאילתה: "מצא את כל המקטעים שמסבירים את תהליך העבודה החדש ב-CRM"

במקום מעבר ידני מתיש על ציר הזמן או הסתמכות על מטא-דאטה לא אמינה, Vidi2 ממש צופה בתוכן ומבין אותו.

תקצירי ספורט (היילייטס)

קלט: הקלטת משחק מלאה פלט: סרטון היילייטס עם כל רגעי ההבקעה, המצבים המסוכנים והחגיגות

המודל מבין את ההקשר של ענפי ספורט היטב ומסוגל לזהות רגעים משמעותיים, ולא רק תנועה על המסך.

סקירת מצלמות אבטחה

קלט: 24 שעות של צילומי אבטחה שאילתה: "מצא את כל המקרים שבהם אנשים נכנסו דרך דלת הצד לאחר השעה 18:00"

עיגון מרחבי-זמני מספק תשובות מדויקות עם חותמות זמן ומיקומים מוגדרים.

כיצד הוא מושווה למודלים של יצירת וידאו

אלו אינן טכנולוגיות מתחרות. הן פותרות בעיות שונות. תהליך עבודה מלא של בינה מלאכותית בווידאו זקוק לשתיהן: יצירה עבור הפקת תוכן חדש, והבנה עבור עבודה עם תוכן קיים.

התמונה הרחבה יותר

חשבו על מה שזה מאפשר:

• לכל ארגון יש תוכן וידאו הלכוד בארכיונים
• כל יוצר תוכן מבלה יותר זמן בעריכה מאשר בצילום
• כל פלטפורמה זקוקה לניטור וגילוי תוכן טובים יותר
• לכל חוקר יש חומרי צילום שאינו יכול לנתח ביעילות

Vidi2 נותן מענה לכל אלה. שחרורו בקוד פתוח אומר שיכולות אלו נגישות כעת לכל מי שמחזיק בכוח מחשוב מספק.

איך מתחילים

המודל זמין ב-GitHub עם תיעוד ודמואים. דרישות מערכת:

• מעבד גרפי (GPU) של NVIDIA עם לפחות 24GB VRAM עבור המודל המלא
• גרסאות מכומתות (Quantized) זמינות עבור מעבדים גרפיים קטנים יותר
• Python 3.10+ עם PyTorch 2.0+

git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"

התיעוד כתוב בעיקר באנגלית על אף היותה של ByteDance חברה סינית, מה שמשקף את קהל היעד הגלובלי.

המשמעות עבור התעשייה

תחום הווידאו מבוסס ה-AI מתפצל כעת לשני מסלולים מובחנים:

שני המסלולים יבשילו. שניהם ישתלבו יחד. מערך כלי ה-AI המלא לווידאו בשנת 2026 ייצר, יערוך ויבין באופן חלק ורציף.

נכון לעכשיו, Vidi2 מייצג את האפשרות המתקדמת ביותר בקוד פתוח להבנת וידאו. אם יש לכם חומרי גלם לנתח, עריכה שתרצו להפוך לאוטומטית, או תוכן שברצונכם לארגן, זהו המודל שכדאי לבחון.

נקודת המבט שלי

עבור כל מי שבנה צינורות עיבוד וידאו, ההבדל בין ה"לפני" וה"אחרי" של מודלים כמו Vidi2 הוא עצום. משימות שדרשו בעבר מערכות ראייה ממוחשבת מותאמות אישית, תיוג ידני ויוריסטיקות שבירות, ניתנות כעת לפתרון באמצעות פרומפט בלבד.

Vidi2 אינו מחליף עורכים. הוא מעניק להם יכולות שבעבר לא היו אפשריות בהיקפים כאלה. ועם גישה פתוחה (לשימוש לא מסחרי), יכולות אלו זמינות לכל מי שמוכן להקים את התשתית הנדרשת.

העתיד של תחום הווידאו אינו מוגבל ליצירה בלבד. הוא טמון בהבנה. והעתיד הזה זמין כעת בקוד פתוח.

מקורות

• ByteDance Vidi2 GitHub Repository
• Vidi2 Research Paper (arXiv)
• ByteDance Releases Vidi2 Open-Source AI Model (WinBuzzer)