Tavus Phoenix-4: Emočná inteligencia v reálnom čase sa stretáva s AI videom

Od klipov ku konverzáciám

Priestor AI videa je uväznený v pretekoch v zbrojení o rozlíšenie, dĺžku a vernosť. Kling 3.0 presadil natívne 4K. Seedance 2.0 vyvolal hollywoodske žaloby. Sora 2 uzavrela dohodu s Disney. Všetko pôsobivé, všetko podľa rovnakej šablóny: napíšete prompt, počkáte, dostanete video.

Phoenix-4 tento vzorec narúša. Model vydaný 18. februára 2026 je prvý navrhnutý pre vykresľovanie ľudí v reálnom čase s emočnou inteligenciou. Namiesto generovania 10-sekundového klipu za 30 sekúnd vykresľuje celú tvár v rozlíšení 1080p pri 40 snímkach za sekundu s latenciou pod 600 milisekúnd.

To nie je generátor videa. To je engine prítomnosti.

Architektúra: Tri modely v súlade

Phoenix-4 je technicky zaujímavý vďaka svojmu trojzložkovému pipeline, v ktorom každá časť spracúva odlišný prvok ľudskej komunikácie.

Raven-1: Emočné vnímanie

Prvým modelom v tomto stacku je Raven-1, modul vnímania, ktorý v reálnom čase analyzuje video stream používateľa. Deteguje výrazy tváre, tón hlasu a konverzačné signály, aby vytvoril priebežnú mapu emočného stavu.

Nejde o jednoduchú analýzu sentimentu. Raven-1 sleduje mikroexpresie, dĺžku prestávok, kadenciu reči a smer pohľadu. Výstupom je viacrozmerný emočný vektor, ktorý vstupuje do vykresľovacieho pipeline.

Sparrow-1: Načasovanie konverzácie

Druhá zložka, Sparrow-1, rieši najviac podceňovaný problém konverzačnej AI: vedieť, kedy hovoriť. Súčasní hlasoví asistenti vás buď prerušujú, alebo čakajú príliš dlho. Sparrow-1 používa architektúru full-duplex, ktorá súčasne počúva aj hovorí, podobne ako konverzujú skutoční ľudia.

Predpovedá signály striedania hovoriacich, spravuje podporné konverzačné signály (prikyvovanie, ekvivalenty „mm-hmm“) a upravuje načasovanie odpovedí na základe emočného stavu z Raven-1. Ak sa odmlčíte, pretože premýšľate, počká. Ak sa odmlčíte, pretože ste zmätení, objasní to.

Phoenix-4: Vykresľovanie s gaussovskou difúziou

Samotný vykresľovací model využíva hybridný prístup gaussovskej difúzie. Tradičné difúzne modely sú na použitie v reálnom čase príliš pomalé. Čisto gaussovské metódy nemajú detailnosť difúzie. Phoenix-4 kombinuje oboje: používa Gaussian splatting pre základnú geometriu a sledovanie v reálnom čase, potom cielene aplikuje difúzne vylepšenie na oblasti kritické pre výraz (oči, ústa, obočie).

API na ovládanie emócií

Pre vývojárov je najpraktickejšou funkciou Emotional Control API. Namiesto toho, aby AI rozhodovala o spôsobe prejavu emócií, môžete programovo určiť cieľové emócie.

{
  "emotion": "empathetic_concern",
  "intensity": 0.7,
  "transition_speed": "gradual",
  "micro_expressions": true
}

API podporuje viac než desať emočných stavov vrátane radosti, smútku, hnevu, prekvapenia, strachu, nadšenia, zvedavosti a spokojnosti, s ovládaním intenzity a miešaním. Avatar zákazníckej podpory môže pri rozpoznaní frustrácie v hlase volajúceho prejsť z priateľského na empatický prejav.

Tu sa prejavuje prínos pipeline s tromi modelmi. Raven-1 rozpozná emočný stav používateľa, pravidlá vývojára určia vhodnú emočnú odpoveď a Phoenix-4 ju vykreslí v reálnom čase.

Digitálne dvojčatá za dve minúty

Jedno z najvýraznejších tvrdení: Phoenix-4 dokáže vytvoriť vlastné digitálne dvojča iba z dvoch minút záznamu. Nahrajte krátke video, na ktorom hovoríte, a systém extrahuje dostatok geometrie tváre, rozsahu výrazov a charakteristík hlasu na vytvorenie avatara v reálnom čase.

Kvalita zatiaľ nie je na úrovni filmových VFX. V ukážkach digitálne dvojčatá občas vykazujú artefakty pri rýchlych pohyboch hlavy a zložitých prechodoch osvetlenia. Pre videohovory, zákaznícku podporu a obchodné prezentácie je však vernosť viac než dostatočná.

Prečo je to dôležité pre AI video

Phoenix-4 predstavuje rozšírenie kategórie AI videa. Doteraz sa každý veľký model sústredil na tvorbu obsahu: klipy, reklamy, krátke filmy, príspevky na sociálne siete. Phoenix-4 sa sústredí na komunikáciu, omnoho väčší trh interakcie prostredníctvom živého videa.

Zvážte prípady použitia:

Trh konverzačného videa v reálnom čase sa zásadne líši od trhu generovania klipov. Je menej kreatívny, ale komerčne bezprostrednejší. Prvými cieľmi sú podniky, ktoré dnes míňajú na licencie Zoom, personál call centier a produkciu videí na podporu predaja.

Technické obmedzenia, ktoré treba sledovať

Phoenix-4 nie je bez obmedzení. Aktuálna verzia funguje výlučne v scenároch s jednou tvárou spredu. Konverzácie viacerých osôb, vykresľovanie celého tela a zložité pozadia nie sú podporované.

Požiadavka výhradne na cloud znamená, že latencia závisí od kvality siete. Tavus uvádza latenciu od začiatku po koniec pod 600ms v optimálnych podmienkach, ale výkon v reálnom svete sa bude líšiť. Pre aplikácie citlivé na latenciu, ako sú živé hovory so zákazníkmi, bude edge nasadenie nakoniec nevyhnutné.

Širší obraz

Phoenix-4 prichádza v bode zlomu. Priestor predvykresleného AI videa je preplnený desiatkami modelov, ktoré súťažia v rozlíšení, dĺžke a štýle. Konverzačné video v reálnom čase je však takmer prázdne. Tavus čelí obmedzenej priamej konkurencii, pričom väčšina alternatív sú jednoduché lip-sync prekrytia, nie plnohodnotné systémy emočného vykresľovania.

Otázkou je, či sa architektúra s tromi modelmi dokáže škálovať. Súčasné spúšťanie Raven-1, Sparrow-1 a Phoenix-4 vyžaduje výrazný výpočtový výkon. Momentálne je tento výkon v cloude Tavus. Jeho priblíženie k edge, alebo optimalizácia pre spotrebiteľský hardvér, by otvorili úplne nové scenáre nasadenia.

Pre širšie odvetvie AI videa Phoenix-4 signalizuje, že ďalšou hranicou nie sú iba lepšie videá. Je ňou video ako rozhranie v reálnom čase, kde AI nevytvára obsah pre vás, ale komunikuje s vami.

Phoenix-4 je dostupný prostredníctvom Tavus API. Vytvorenie digitálneho dvojčaťa vyžaduje nahratie dvojminútového videa. Podrobnosti o cenách sú dostupné na ich portáli pre vývojárov.

Zdroje

• Tavus: Phoenix-4 beží pri 40 snímkach za sekundu v rozlíšení 1080p (Tavus)
• Tavus: Realistické digitálne dvojča Tavus je možné natrénovať z krátkeho dvojminútového zdrojového videa (Tavus)