Tavus Phoenix-4: Emoční inteligence v reálném čase se setkává s AI videem

Od klipů ke konverzacím

Prostor AI videa uvázl v závodech ve zbrojení o rozlišení, délku a věrnost. Kling 3.0 posunul nativní 4K. Seedance 2.0 vyvolal hollywoodské žaloby. Sora 2 uzavřela dohodu s Disney. Vše působivé, vše podle stejného vzorce: napište prompt, počkejte, získejte video.

Phoenix-4 tento vzorec narušuje. Model, vydaný 18. února 2026, je první navržený pro vykreslování lidí v reálném čase s emoční inteligencí. Místo generování 10sekundového klipu za 30 sekund vykresluje celou tvář v rozlišení 1080p při 40 snímcích za sekundu a s latencí pod 600 milisekund.

To není generátor videa. To je engine pro přítomnost.

Architektura: Tři modely v harmonii

Phoenix-4 je technicky zajímavý díky svému třísložkovému pipeline, kde každá část zpracovává odlišný prvek lidské komunikace.

Raven-1: Emoční vnímání

Prvním modelem v sadě je Raven-1, percepční modul, který v reálném čase analyzuje videostream uživatele. Detekuje výrazy obličeje, tón hlasu a konverzační signály, aby vytvořil průběžnou mapu emočního stavu.

Nejde o jednoduchou analýzu sentimentu. Raven-1 sleduje mikroexpresy, délku pauz, rytmus řeči a směr pohledu. Výstupem je vícerozměrný emoční vektor, který vstupuje do vykreslovacího pipeline.

Sparrow-1: Načasování konverzace

Druhá komponenta, Sparrow-1, řeší nejvíce podceňovaný problém konverzační AI: vědět, kdy mluvit. Současní hlasoví asistenti vám buď skáčou do řeči, nebo čekají příliš dlouho. Sparrow-1 používá full-duplex architekturu, která současně poslouchá i mluví a napodobuje tak skutečnou lidskou konverzaci.

Předvídá signály střídání mluvčích, spravuje zpětnovazební signály (přikyvování, ekvivalenty „mhm“) a upravuje načasování odpovědi podle emočního stavu z Raven-1. Když se odmlčíte, protože přemýšlíte, počká. Když se odmlčíte, protože jste zmatení, vysvětlí to.

Phoenix-4: Vykreslování Gaussian-Diffusion

Samotný vykreslovací model používá hybridní přístup Gaussian-diffusion. Tradiční difuzní modely jsou pro použití v reálném čase příliš pomalé. Čistě gaussovské metody postrádají detailní kvalitu difuze. Phoenix-4 kombinuje obojí: pro základní geometrii a sledování v reálném čase používá Gaussian splatting, poté cíleně aplikuje difuzní zjemnění na oblasti klíčové pro výraz (oči, ústa, obočí).

API pro emoční ovládání

Pro vývojáře je nejpraktičtější funkcí API pro emoční ovládání. Namísto toho, aby AI sama rozhodovala, jaký výraz použít, můžete cílové emoce specifikovat programově.

{
  "emotion": "empathetic_concern",
  "intensity": 0.7,
  "transition_speed": "gradual",
  "micro_expressions": true
}

API podporuje více než deset emočních stavů, včetně radosti, smutku, hněvu, překvapení, strachu, vzrušení, zvědavosti a spokojenosti, s ovládáním intenzity a mícháním. Avatar zákaznické podpory se může při detekci frustrace v hlase volajícího přepnout z přátelského na empatický.

Právě zde se projevuje přínos pipeline se třemi modely. Raven-1 detekuje emoční stav uživatele, pravidla vývojáře určují vhodnou emoční reakci a Phoenix-4 ji vykresluje v reálném čase.

Digitální dvojčata za dvě minuty

Jedno z nejvýraznějších tvrzení: Phoenix-4 dokáže vytvořit vlastní digitální dvojče z pouhých dvou minut záznamu. Nahrajte krátké video, na kterém mluvíte, a systém získá dostatek údajů o geometrii obličeje, rozsahu výrazů a charakteristikách hlasu pro vytvoření avatara v reálném čase.

Kvalita zatím není na úrovni filmových VFX. V ukázkách digitální dvojčata občas vykazují artefakty při rychlých pohybech hlavy a složitých přechodech osvětlení. Pro videohovory, zákaznickou podporu a obchodní prezentace je ale věrnost více než dostatečná.

Proč je to pro AI video důležité

Phoenix-4 představuje rozšíření kategorie AI videa. Dosud se každý významný model soustředil na tvorbu obsahu: klipy, reklamy, krátké filmy a příspěvky na sociální sítě. Phoenix-4 se zaměřuje na komunikaci, mnohem větší trh živé video interakce.

Zvažte případy použití:

Trh konverzačního videa v reálném čase se zásadně liší od trhu s generováním klipů. Je méně kreativní, ale komerčně bezprostřednější. Prvními cíli jsou firmy, které dnes utrácejí za licence Zoomu, personál call center a produkci videí pro podporu prodeje.

Technická omezení, která je třeba sledovat

Phoenix-4 není bez omezení. Současná verze funguje výhradně se scénáři jedné tváře zpředu. Konverzace více osob, vykreslování celého těla a složitá pozadí nejsou podporovány.

Požadavek na cloud znamená, že latence závisí na kvalitě sítě. Tavus uvádí při optimálních podmínkách latenci od začátku do konce pod 600 ms, skutečný výkon se však bude lišit. Pro aplikace citlivé na latenci, například živé zákaznické hovory, bude nasazení na edge časem nezbytné.

Širší perspektiva

Phoenix-4 přichází v bodě zlomu. Prostor předem vykresleného AI videa je přeplněný desítkami modelů soutěžících v rozlišení, délce a stylu. Konverzační video v reálném čase je však téměř prázdné. Tavus čelí omezené přímé konkurenci, protože většina alternativ jsou jednoduché překryvy synchronizace rtů, nikoli plnohodnotné systémy emočního vykreslování.

Otázkou je, zda lze architekturu tří modelů škálovat. Současný běh Raven-1, Sparrow-1 a Phoenix-4 vyžaduje významný výpočetní výkon. Ten se nyní nachází v cloudu Tavusu. Přesunutí blíže k edge nebo optimalizace pro spotřebitelský hardware by otevřely zcela nové scénáře nasazení.

Pro širší odvětví AI videa Phoenix-4 signalizuje, že další hranicí nejsou jen lepší videa. Je jí video jako rozhraní v reálném čase, kde AI nevytváří obsah pro vás, ale komunikuje s vámi.

Phoenix-4 je k dispozici prostřednictvím Tavus API. Vytvoření digitálního dvojčete vyžaduje nahrání dvouminutového videa. Podrobnosti o cenách jsou dostupné na jejich vývojářském portálu.

Zdroje

• Tavus: Phoenix-4 běží rychlostí 40 snímků za sekundu v rozlišení 1080p (Tavus)
• Tavus: Věrohodné digitální dvojče Tavus lze natrénovat z krátkého dvouminutového zdrojového videa (Tavus)