Tavus Phoenix-4: リアルタイム情動知能とAI動画が出会う瞬間

クリップから会話へ

AI動画業界は、解像度、尺度、忠実度を巡る軍拡競争に陥ってきました。Kling 3.0はネイティブ4Kを推進しました。Seedance 2.0はハリウッドの訴訟をもたらしました。Sora 2はディズニーとの契約を獲得しました。すべて印象的ですが、すべて同じテンプレートに従っています。プロンプトを入力し、待機し、動画を取得します。

Phoenix-4はこのパターンを打ち破りました。2026年2月18日にリリースされた本モデルは、リアルタイムな人顔描画と感情知能を備える最初のモデルです。30秒で10秒のクリップを生成するのではなく、40フレーム/秒で完全な1080p顔を描画し、レイテンシは600ミリ秒未満です。

これはビデオジェネレーターではありません。これはプレゼンスエンジンなのです。

アーキテクチャ: 調和する3つのモデル

Phoenix-4が技術的に興味深いのは、人間のコミュニケーションの異なる側面をそれぞれ処理する3つのコンポーネントパイプラインがあるからです。

Raven-1: 感情認識

スタックの最初のモデルはRaven-1で、ユーザーの動画フィードをリアルタイムで分析する認識モジュールです。顔の表情、声の調子、会話の手がかりを検出して、継続的な感情状態マップを構築します。

これは単純なセンチメント分析ではありません。Raven-1は微表情、ポーズ期間、音声ケイデンス、視線方向を追跡します。出力は描画パイプラインに供給される多次元感情ベクトルです。

Sparrow-1: 会話タイミング

2番目のコンポーネントSparrow-1は、会話AIにおける最も過小評価されている問題に対応しています。いつ話すべきかを知ることです。現在の音声アシスタントは、あなたを遮るか、あるいは待機時間が長すぎます。Sparrow-1は、フルデュプレックスアーキテクチャを使用して、同時にリッスンと話を行い、実際の人間がどのように会話するかを反映しています。

ターンテイキングのキュー、バックチャネルシグナル(うなずき、「んん」など)を予測し、Raven-1からの感情状態に基づいて応答タイミングを調整します。あなたが思考のために一時停止している場合、それは待機します。あなたが混乱のために一時停止している場合、それは明確にします。

Phoenix-4: ガウス拡散描画

描画モデル自体は、ガウス拡散ハイブリッドアプローチを使用します。従来の拡散モデルはリアルタイム使用には遅すぎます。純粋なガウス方法は拡散の詳細品質に欠けています。Phoenix-4は両者を組み合わせています。基本的なジオメトリとリアルタイムトラッキングにはガウススプラッティングを使用し、表現が重要な領域(目、口、眉)に対してはターゲット化された拡散改良を適用します。

感情制御API

開発者にとって、最も実用的な機能は感情制御APIです。AIに感情表現を決めさせるのではなく、プログラムで目標感情を指定できます。

{
  "emotion": "empathetic_concern",
  "intensity": 0.7,
  "transition_speed": "gradual",
  "micro_expressions": true
}

APIは10以上の感情状態をサポートしており、喜び、悲しみ、怒り、驚き、恐怖、興奮、好奇心、満足感が含まれます。また強度制御とブレンディング機能があります。カスタマーサポートアバターは、発信者の声での不満を検出すると、友好的な態度から共感的な態度にシフトできます。

ここで3つのモデルパイプラインの利点が生きます。Raven-1がユーザーの感情状態を検出し、開発者のルールが適切な応答感情を決定し、Phoenix-4がそれをリアルタイムで描画します。

2分でデジタルツインを作成

最も注目すべき主張の1つは、Phoenix-4がわずか2分の映像からカスタムデジタルツインを作成できるということです。自分が話している短い動画をアップロードすると、システムはリアルタイムアバターを生成するのに十分な顔ジオメトリ、表現範囲、音声特性を抽出します。

品質はまだハリウッドのVFXレベルではありません。デモでは、デジタルツインは頭部の急速な動きと複雑な照明変化の周辺で時々アーティファクトを示します。しかし、ビデオ通話、カスタマーサポート、セールスプレゼンテーションの場合、忠実度は十分以上です。

AI動画にとっての意義

Phoenix-4はAI動画のカテゴリ拡張を表しています。これまで、すべての主要モデルはコンテンツ作成に焦点を当ててきました。クリップ、広告、短編映画、ソーシャルメディア投稿を作成していました。Phoenix-4は、より大きなライブビデオインタラクション市場であるコミュニケーションに焦点を当てています。

ユースケースを考慮してみてください:

リアルタイム会話動画市場はクリップ生成市場とは根本的に異なります。クリエイティブ性は低いですが、商業的にはより直接的です。現在Zoomライセンス、コールセンター人員、営業支援用ビデオ制作に支出している企業が最初のターゲットです。

注視する技術的制限

Phoenix-4は制限がないわけではありません。現在のバージョンは、単一前向き顔シナリオのみで動作します。複数人の会話、全身描画、複雑な背景はサポートされていません。

クラウドのみの要件は、レイテンシがネットワーク品質に依存することを意味します。Tavusは最適な条件で600ミリ秒未満のエンドツーエンドを報告していますが、実際のパフォーマンスは異なります。ライブカスタマーコールのようなレイテンシに敏感なアプリケーションの場合、エッジデプロイが最終的に必要になるでしょう。

大きな図景

Phoenix-4は転機に到着しました。事前レンダリングAI動画スペースは混雑しており、数十のモデルが解像度、期間、スタイルで競争しています。しかし、リアルタイム会話動画はほぼ空白です。Tavusは限定的な直接競争に直面しており、ほとんどの代替案は完全な感情描画システムではなく、単純なリップシンク オーバーレイです。

問題は、3つのモデルアーキテクチャがスケーリングできるかどうかです。Raven-1、Sparrow-1、Phoenix-4を同時に実行するには、かなりの計算力が必要です。現在、その計算はTavusのクラウドに存在します。それをエッジにより近く持ってくるか、またはコンシューマーハードウェアに最適化することで、完全に新しいデプロイメントシナリオが開かれるでしょう。

より広いAI動画業界にとって、Phoenix-4は次のフロンティアが単なるより良いビデオではないことを示しています。それはリアルタイムインターフェースとしてのビデオであり、AIがあなたのためにコンテンツを作成するのではなく、あなたと通信しています。

Phoenix-4はTavus APIを通じて利用できます。デジタルツイン作成には2分の動画アップロードが必要です。詳細な価格情報は開発者ポータルから確認できます。