Tavus Phoenix-4: Емоційний інтелект у реальному часі зустрічає відео ІІ

Від кліпів до розмов

Простір відео ІІ був замкнений у гонці озброєння по розділу, тривалості та вірності. Kling 3.0 вивела рідне 4K. Seedance 2.0 спровокувала позови Голлівуду. Sora 2 укладає угоду з Disney. Все вражаючо, все слідує одному шаблону: введіть запит, чекайте, отримайте відео.

Phoenix-4 порушує цей шаблон. Випущена 18 лютого 2026 року, це перша модель, розроблена для рендеринга людини у реальному часі з емоційним інтелектом. Замість створення 10-секундного кліпу за 30 секунд вона рендерить повне обличчя 1080p при 40 кадрах за секунду з затримкою менш за 600 мілісекунд.

Це не генератор відео. Це рушій присутності.

Архітектура: три моделі в гармонії

Те, що робить Phoenix-4 технічно цікавою, це її триступеневий конвеєр, кожна компонента обробляє окремий аспект людської комунікації.

Raven-1: сприйняття емоцій

Перша модель у стеку це Raven-1, модуль сприйняття, який аналізує ваш відеопотік у реальному часі. Вона виявляє мімічні вирази, тон голосу та сигнали розмови для побудови неперервної карти емоційного стану.

Це не просто аналіз настрою. Raven-1 відстежує мікровирази, тривалість пауз, темп мовлення та напрямок погляду. Результат це багатовимірний вектор емоцій, який подається до конвеєра рендеринга.

Sparrow-1: час розмови

Друга компонента, Sparrow-1, вирішує найнедооцінену проблему в розмовному ІІ: знання коли говорити. Сучасні голосові помічники або переривають вас, або чекають занадто довго. Sparrow-1 використовує архітектуру повнодуплексного зв'язку, яка одночасно слухає та говорить, відзеркалюючи те, як люди насправді розмовляють.

Вона передбачає сигнали зміни ролей, керує зворотними сигналами (кивання, еквіваленти "мм-гм"), і регулює час відповіді на основі емоційного стану від Raven-1. Якщо ви робите паузу тому що думаєте, вона чекає. Якщо ви робите паузу тому що збентежені, вона уточнює.

Phoenix-4: рендеринг на основі Gaussian-дифузії

Сама модель рендеринга використовує гібридний підхід Gaussian-дифузії. Традиційні моделі дифузії занадто повільні для використання у реальному часі. Чисті методи Gaussian не мають якості деталей дифузії. Phoenix-4 поєднує обидва: використовує Gaussian splatting для базової геометрії та відстеження у реальному часі, потім застосовує уточнення дифузії цільовим способом на критичних для вираження областях (очі, рот, брови).

API управління емоціями

Для розробників найпрактичніша функція це API управління емоціями. Замість того щоб дозволити ІІ самостійно емоціювати, ви можете програмно вказати цільові емоції.

{
  "emotion": "empathetic_concern",
  "intensity": 0.7,
  "transition_speed": "gradual",
  "micro_expressions": true
}

API підтримує понад десять емоційних станів, включаючи радість, сум, гнів, здивування, страх, збудження, цікавість та задоволення, з контролем інтенсивності та змішуванням. Аватар служби підтримки може перейти від дружелюбності до співчуття коли виявляє розчарування у голосі того, хто дзвонить.

Саме тут триступеневий конвеєр окупується. Raven-1 виявляє емоційний стан користувача, правила розробника визначають відповідну емоційну реакцію, і Phoenix-4 рендерить її у реальному часі.

Цифрові двійники за дві хвилини

Одне з найбільш вражаючих тверджень: Phoenix-4 може створити користувацького цифрового двійника всього з двох хвилин відеозапису. Завантажте коротке відео з вами, що говорите, і система вилучає достатньо геометрії обличчя, діапазону виразів і характеристик голосу для створення аватара у реальному часі.

Якість поки не на рівні кінематографічних VFX. У демонстраціях цифрові двійники показують випадкові артефакти навколо швидких рухів голови та складних переходів освітлення. Але для відеокликів, служби підтримки та презентацій продажу вірність більш ніж достатня.

Чому це важливо для відео ІІ

Phoenix-4 представляє розширення категорії для відео ІІ. До цього кожна велика модель була сфокусована на створенні контенту: створення кліпів, оголошень, короткометражних фільмів, постів у соцмережах. Phoenix-4 сфокусована на комунікації, набагато більшому ринку прямої відеовзаємодії.

Розглянемо варіанти використання:

Ринок відео у реальному часі для розмов принципово відрізняється від ринку створення кліпів. Він менш творчий, але більш комерційно безпосередній. Компанії, які в даний час витрачають на ліцензії Zoom, персонал кол-центрів та виробництво відео для підтримки продажів, є першими мішенями.

Технічні обмеження, на які варто звернути увагу

Phoenix-4 не без обмежень. Поточна версія працює виключно з сценаріями з одним обличчям фронтально. Багатолюдні розмови, повнотільний рендеринг та складні фони не підтримуються.

Вимога тільки хмари означає, що затримка залежить від якості мережі. Tavus повідомляє про наскрізну затримку менш за 600ms в оптимальних умовах, але реальна продуктивність буде варіюватися. Для застосунків чутливих до затримки, таких як прямі дзвінки служб підтримки, розгортання на крайових вузлах в кінцевому підсумку буде необхідно.

Більша картина

Phoenix-4 прибуває у точку перелому. Простір попередньо відрендереного відео ІІ переповнений, з десятками моделей, які конкурують по розділу, тривалості та стилю. Але відео у реальному часі для розмов майже пусто. Tavus стикається з обмеженою прямою конкуренцією, при цьому більшість альтернатив це прості накладання синхронізації губ, а не повні системи рендеринга емоцій.

Питання полягає в тому, чи може масштабуватися триступенева архітектура. Одночасне запущення Raven-1, Sparrow-1 та Phoenix-4 вимагає значних обчислювальних ресурсів. Прямо зараз ці обчислення знаходяться в хмарі Tavus. Приведення їх ближче до краю, або оптимізація для споживацького обладнання, відкриє абсолютно нові сценарії розгортання.

Для ширшої індустрії відео ІІ, Phoenix-4 сигналізує, що наступна межа це не просто краще відео. Це відео як інтерфейс у реальному часі, де ІІ не створює контент для вас, а спілкується з вами.

Phoenix-4 доступна через Tavus API. Створення цифрового двійника вимагає завантаження двохвилинного відео. Детальні інформація про ціноутворення доступна на їхньому порталі для розробників.