Tavus Phoenix-4: Эмоциональный интеллект в реальном времени встречает видео ИИ

От клипов к разговорам

Пространство видео ИИ было заперто в гонке вооружений по разрешению, продолжительности и верности. Kling 3.0 вывела нативное 4K. Seedance 2.0 вызвала иски Голливуда. Sora 2 заключила сделку с Disney. Всё впечатляет, всё следует одному шаблону: введите подсказку, подождите, получите видео.

Phoenix-4 нарушает этот шаблон. Выпущенная 18 февраля 2026 года, это первая модель, разработанная для рендеринга человека в реальном времени с эмоциональным интеллектом. Вместо создания 10-секундного клипа за 30 секунд она рендерит полное лицо 1080p при 40 кадрах в секунду с задержкой менее 600 миллисекунд.

Это не генератор видео. Это движок присутствия.

Архитектура: три модели в гармонии

То, что делает Phoenix-4 технически интересной, это её трёхкомпонентный конвейер, каждый компонент обрабатывает отдельный аспект человеческого общения.

Raven-1: восприятие эмоций

Первая модель в стеке это Raven-1, модуль восприятия, который анализирует ваш видеопоток в реальном времени. Она обнаруживает мимику, тон голоса и сигналы разговора для создания непрерывной карты эмоционального состояния.

Это не простой анализ настроения. Raven-1 отслеживает микровыражения, длительность пауз, темп речи и направление взгляда. Результат это многомерный вектор эмоций, который поступает в конвейер рендеринга.

Sparrow-1: время разговора

Второй компонент, Sparrow-1, решает самую недооценённую проблему в разговорном ИИ: знание когда говорить. Современные голосовые помощники либо прерывают вас, либо слишком долго ждут. Sparrow-1 использует архитектуру полнодуплексной связи, которая одновременно слушает и говорит, отражая то, как люди разговаривают на самом деле.

Она предсказывает сигналы смены ролей, управляет обратными сигналами (кивки, эквиваленты "мм-хм"), и регулирует время ответа на основе эмоционального состояния от Raven-1. Если вы делаете паузу потому что думаете, она ждёт. Если вы делаете паузу потому что запутались, она уточняет.

Phoenix-4: рендеринг на базе Gaussian-диффузии

Сама модель рендеринга использует гибридный подход Gaussian-диффузии. Традиционные модели диффузии слишком медленны для использования в реальном времени. Чистые методы Gaussian не имеют качества деталей диффузии. Phoenix-4 объединяет оба: использует Gaussian splatting для базовой геометрии и отслеживания в реальном времени, затем применяет уточнение диффузии целевым способом на критичных для выражения областях (глаза, рот, бровь).

API управления эмоциями

Для разработчиков самая практичная функция это API управления эмоциями. Вместо того чтобы позволить ИИ самостоятельно эмоционировать, вы можете программно указать целевые эмоции.

{
  "emotion": "empathetic_concern",
  "intensity": 0.7,
  "transition_speed": "gradual",
  "micro_expressions": true
}

API поддерживает более десяти эмоциональных состояний, включая радость, грусть, гнев, удивление, страх, возбуждение, любопытство и довольство, с управлением интенсивностью и смешиванием. Аватар служба поддержки может перейти от дружелюбия к сочувствию когда обнаруживает разочарование в голосе звонящего.

Именно здесь трёхмодельный конвейер окупается. Raven-1 обнаруживает эмоциональное состояние пользователя, правила разработчика определяют подходящую эмоциональную ответную реакцию, и Phoenix-4 рендерит её в реальном времени.

Цифровые двойники за две минуты

Одно из наиболее поразительных заявлений: Phoenix-4 может создать пользовательского цифрового двойника всего из двух минут видеозаписи. Загрузите короткое видео с вами говорящего, и система извлекает достаточно геометрии лица, диапазона выражений и характеристик голоса для создания аватара в реальном времени.

Качество пока не на уровне кинематографических VFX. В демонстрациях цифровые двойники показывают случайные артефакты вокруг быстрых движений головы и сложных переходов освещения. Но для видеовызовов, службы поддержки и презентаций продаж верность более чем достаточна.

Почему это важно для видео ИИ

Phoenix-4 представляет расширение категории для видео ИИ. До этого каждая крупная модель была сосредоточена на создании контента: создание клипов, объявлений, короткометражных фильмов, постов в соцсетях. Phoenix-4 сосредоточена на коммуникации, намного более крупном рынке прямого видеовзаимодействия.

Рассмотрите варианты использования:

Рынок видео в реальном времени для разговоров принципиально отличается от рынка создания клипов. Он менее творческий, но более коммерчески непосредственный. Компании, которые в настоящее время тратят деньги на лицензии Zoom, штат кол-центров и производство видео для поддержки продаж, являются первыми мишенями.

Технические ограничения, на которые стоит обратить внимание

Phoenix-4 не без ограничений. Текущая версия работает исключительно со сценариями с одним лицом в фас. Многолюдные разговоры, полнотелый рендеринг и сложные фоны не поддерживаются.

Требование только облака означает, что задержка зависит от качества сети. Tavus сообщает о сквозной задержке менее 600ms в оптимальных условиях, но реальная производительность будет варьироваться. Для приложений чувствительных к задержкам, таких как прямые звонки служб поддержки, развёртывание на граничных вычислениях в конечном итоге будет необходимо.

Общая картина

Phoenix-4 прибывает в точку перелома. Пространство предварительно отрендеренного видео ИИ переполнено, с десятками моделей конкурирующих по разрешению, продолжительности и стилю. Но видео в реальном времени для разговоров почти пусто. Tavus сталкивается с ограниченной прямой конкуренцией, при этом большинство альтернатив это простые наложения синхронизации губ, а не полные системы рендеринга эмоций.

Вопрос в том, может ли масштабироваться трёхмодельная архитектура. Одновременный запуск Raven-1, Sparrow-1 и Phoenix-4 требует значительных вычислительных ресурсов. Прямо сейчас эти вычисления находятся в облаке Tavus. Приведение их ближе к краю, или оптимизация для потребительского оборудования, откроет совершенно новые сценарии развёртывания.

Для более широкой индустрии видео ИИ, Phoenix-4 сигнализирует, что следующая граница это не просто лучшие видео. Это видео как интерфейс в реальном времени, где ИИ не создаёт контент для вас, а общается с вами.

Phoenix-4 доступна через Tavus API. Создание цифрового двойника требует загрузки двухминутного видео. Детали ценообразования доступны на их портале для разработчиков.