Tavus Phoenix-4: בינה רגשית בזמן אמת נפגשת עם וידאו AI

מקליפים לשיחות

מרחב וידאו ה-AI היה נתון בתחרות חימוש על רזולוציה, משך ומדוקדקות. Kling 3.0 דחק 4K מקורי. Seedance 2.0 הדליק תביעות מהוליווד. Sora 2 קיבלה עסקה עם דיסני. כל הם מרשימים, כולם עוקבים אחרי אותו תבנית: הקלד הנושא, חכה, קבל וידאו.

Phoenix-4 שובר את התבנית הזאת. שוחרר ב-18 בפברואר 2026, זה הדגם הראשון המעוצב עבור עבודה בזמן אמת של פנים אנושיות עם בינה רגשית. במקום יצירת קליפ של 10 שניות ב-30 שניות, זה מעביד פנים מלאות ב-1080p ב-40 פריימים לשנייה עם זמן התאמה של פחות מ-600 מילישניות.

זה לא מחולל וידאו. זה מנוע נוכחות.

הארכיטקטורה: שלוש דגמים בהרמוניה

מה שהופך את Phoenix-4 למעניין מבחינה טכנית הוא צינור בעל שלוש רכיבים, כל אחד מטפל בחלק ברורה של תקשורת אנושית.

Raven-1: תפיסה רגשית

הדגם הראשון בערימה הוא Raven-1, מודול תפיסה המנתח את הזרם הווידאו שלך בזמן אמת. זה מגלה ביטויי פנים, טון קולי ורמזים שיחתיים לבניית מפת מצב רגשי רציפה. זה לא ניתוח הרגשות פשוט. Raven-1 עוקב אחרי מיקרו-ביטויים, משך הפסקה, קצב דיבור וכיוון מבט. הפלט הוא וקטור רגשי רב-ממדי המתוך לצינור ההרכבה.

Sparrow-1: תזמון שיחה

הרכיב השני, Sparrow-1, מטפל בבעיה המזוצנה ביותר ב-AI שיחתי: ידע מתי לדבר. עוזרי קול הנוכחיים או חוצים אותך או מחכים זמן רב מדי. Sparrow-1 משתמש ב-ארכיטקטורה דופלקס מלא ששומעת ודוברת בו זמנית, משקפת כיצד בני אדם בפועל משוחחים. זה חוזה רמזי החלפה, מנהל אותות אחורי (הנדנדת ראש, שקולי "מ-הממ"), ומתאים את קצב התגובה בהתאם למצב הרגשי מ-Raven-1. אם אתה עוצר כי אתה חושב, זה מחכה. אם אתה עוצר כי אתה מבולבל, זה מבהיר.

Phoenix-4: עיבוד דיפוזיה גאוסית

דגם ההרכבה עצמו משתמש בשיטה היברידית של דיפוזיה גאוסית. דגמי דיפוזיה קונבנציונליים איטיים מדי לשימוש בזמן אמת. שיטות גאוסיות טהורות חסרות את איכות הפרטים של דיפוזיה. Phoenix-4 משלב את שניהם: זה משתמש בגאוסי splatting לגיאומטריה בסיס ועקיבה בזמן אמת, ולאחר מכן מיישם עדכון דיפוזיה בצורה ממוקדת באזורים קריטיים לביטוי (עיניים, פה, גבה).

ממשק API לשליטה רגשית

עבור מפתחים, הميزה הפרקטית ביותר היא API שליטה רגשית. במקום לתת ל-AI להחליט כיצד לבטא רגשות, אתה יכול לציין רגשות יעד בצורה פרוגרמטית.

{
  "emotion": "empathetic_concern",
  "intensity": 0.7,
  "transition_speed": "gradual",
  "micro_expressions": true
}

ה-API תומך ביותר מעשר מצבים רגשיים, כולל שמחה, עצב, כעס, הפתעה, פחד, התרגשות, סקרנות ותוכן, עם שליטה בעוצמה וערבול. אווטאר תמיכת לקוחות יכול להעביר מחברותי לאמפתטי בעת גילוי תסכול בקול המתקשר. כאן היא שם עוביי צינור ההדלייים. Raven-1 מגלה את המצב הרגשי של המשתמש, כללי המפתח קובעים את המצב הרגשי המתאים להגיב, ו-Phoenix-4 מערוך אותו בזמן אמת.

תאומים דיגיטליים בשתי דקות

אחד מהטענות המדהימות ביותר: Phoenix-4 יכול ליצור תאום דיגיטלי מותאם אישית מרק מ-וידאו שתי דקות. העלה וידאו קצר של עצמך מדבר, והמערכת מוצאת גיאומטריה פנים, טווח ביטוי ומאפייני קול מספיקים ליצירת אווטאר בזמן אמת.

האיכות עדיין אינה ברמת VFX סרט. בהדגמות, התאומים הדיגיטליים מראים חפצים מקריים סביב תנועות ראש מהירות וקליטות תאורה מורכבות. אך עבור שיחות וידאו, תמיכה לקוחות, והצגות מכירה, ההדירות יותר מספיקה.

מדוע זה חשוב לוידאו AI

Phoenix-4 מייצג הרחבת קטגוריה לוידאו AI. עד כה, כל דגם עיקרי התמקד בעיצוב תוכן: יצירת קליפים, פרסומות, סרטונים קצרים ופוסטים במדיה חברתית. Phoenix-4 מתמקד בתקשורת, השוק הגדול בהרבה של אינטראקציה וידאו חיה. שקול מקרי שימוש:

שוק הוידאו שיחה בזמן אמת שונה תעצמו מהשוק של יצירת קליפים. זה פחות יצירתי אך יותר מיידי מבחינה מסחרית. חברות שכרגע מוציאות הוצאות על רישיונות Zoom, כוחות עבודה של מרכזי שיחות ויצירת וידאו לאפשור מכירות הם האמצעים הראשונים.

הגבלות טכניות לצפייה

Phoenix-4 אינו ללא אילוצים. הגרסה הנוכחית עובדת באופן בלעדי עם תרחישים פנים יחיד וכוונים קדמיים. שיחות רב-אנשים, עיבוד גוף מלא וקרקעים מורכבים אינם נתמכים.

דרישת ענן בלבד פירושה שזמן ההתאמה תלוי בעיצוב הרשת. Tavus מדווחת פחות מ-600 מילישניות מקצה לקצה בתנאים אופטימליים, אך הביצוע של העולם האמיתי יהיה משתנה. עבור יישומים רגישים לזמן התאמה כמו שיחות לקוח חיות, פריסת קצה תהיה הכרחית בסופו של דבר.

התמונה הגדולה יותר

Phoenix-4 מגיע בנקודת הטיה. מרחב וידאו AI המוגדר מראש גדוש, עם עשרות דגמים המתחרים בדקילוציה, משך ותיאום. אך וידאו שיחה בזמן אמת כמעט ריק. Tavus פנים ממתחרי ישיר מוגבלים, כאשר רוב החלופות הן שכבות שפתיים פשוטות במקום מערכות ביצוע רגשי מלאות. השאלה היא האם בנייני הדגם התלת-מודל יכול להתרחיב. הפעלה של Raven-1, Sparrow-1 ו-Phoenix-4 בו-זמנית דורשת חישוב משמעותי. כרגע, החישוב הזה חי בענן Tavus. הקרבה לקצה, או הנתכ שלו לחומרה צרכנית, תפתח תרחישי פריסה חדשים לגמרי. עבור תעשיית וידאו AI הרחבה יותר, Phoenix-4 אותות שהגבול הבא אינו רק וידאו טוב יותר. זהו וידאו כממשק בזמן אמת, כאשר AI לא יוצר תוכן עבורך, אלא מתחייב איתך.

Phoenix-4 זמין דרך Tavus API. יצירת תאום דיגיטלי דורשת העלאת וידאו בשתי דקות. פרטי תמחור זמינים בפורטל המפתח שלהם.