Tavus Phoenix-4: Reāllaika emocionālā intelektuālitāte Satiekas ar AI Video

No Klipiem uz Sarunām

AI video telpa ir bijusi bloķēta ieroču sacensībās par izšķirtspēju, ilgumu un precizitāti. Kling 3.0 nospieda neatkarīgu 4K. Seedance 2.0 izraisīja Holivudas pārsūdzības. Sora 2 noslēdza Disney darījumu. Tas viss ir iespaidīgi, viss seko tam pašam modelim: ieraksti uzvedni, gaidi, iegūsti video.

Phoenix-4 laužas šis modelis. Izlaista 2026. gada 18. februārī, tā ir pirmā modelis, kas dizainēta reāllaika seju renderēšanai ar emocionālo intelektuālitāti. Tā vietā, lai radītu 10 sekunžu klipu 30 sekundēs, tā renderē pilnīgu 1080p seju ar 40 kadru sekundē ar mazāk nekā 600 milisekundi latenci.

Tas nav video ģenerators. Tas ir klātbūtnes dzinējs.

Arhitektūra: Trīs modeļi harmonijā

Tas, kas padara Phoenix-4 tehniski interesantu, ir tās trīs komponentu caurule, katra apstrādā atšķirīgu cilvēka komunikācijas daļu.

Raven-1: Emocionālā uztvere

Pirmais modelis stekā ir Raven-1, uztveršanas modulis, kas reālajā laikā analizē lietotāja video plūsmu. Tas nosaka sejas izteiksmes, balss toni un sarunu pavedienus, lai izveidotu nepārtrauktu emocionālā stāvokļa karti.

Tas nav vienkārša sentimenta analīze. Raven-1 seko mikro-izteiksmēm, pauzes ilgumam, runas tempam un skatiena virzienam. Rezultāts ir multidimensionāls emocionāls vektors, kas ieplūst renderēšanas caurulē.

Sparrow-1: Sarunu iztiminga

Otrais komponents, Sparrow-1, apstrādā nenosaukto problēmu sarunu AI: zināt, kad runāt. Pašreizējie balss asistenti vai tevi pārtrauc, vai gaida pārāk ilgi. Sparrow-1 izmanto pilnpilnmetrīgu duplex arhitektūru, kas klausās un runā vienlaicīgi, atspoguļojot, kā patiesībā runā cilvēki.

Tas prognozē runāšanas maiņas signālus, pārvalda aizmugures kanāla signālus (mājas, "hm-hm" ekvivalenti) un pielāgo atbildes iztiminga pamatojumā uz emocionālo stāvokli no Raven-1. Ja tu pauzi, jo domā, tas gaida. Ja tu pauzi, jo esi apjucis, tas skaidro.

Phoenix-4: Gaussian-diffusijas renderēšana

Pats renderēšanas modelis izmanto Gaussian-diffusijas hibrīdpieeju. Tradicionālie diffusijas modeļi ir pārāk lēni reāllaika lietošanai. Tīrie Gaussian paņēmieni pietrūkst diffusijas detalizācijas. Phoenix-4 apvieno abus: tas izmanto Gaussian smaidu izkliedēšanu bāzes ģeometrijai un reāllaika izsekošanai, pēc tam pielieto diffusijas noskaidrojumu mērķtiecīgi uz izteiksmes kritiskiem apgabaliem (acis, mute, uzacis).

Emocionālās kontroles API

Attīstītājiem praktiskākais līdzeklis ir Emocionālās kontroles API. Tā vietā, lai ļautu AI izlemt, kā emocijas izrādīt, vari programmatiski norādīt mērķa emocijas.

{"emotion": "empathetic_concern", "intensity": 0.7, "transition_speed": "gradual", "micro_expressions": true}

API atbalsta vairāk nekā desmit emocionālos stāvokļus, ieskaitant prieku, sēras, dusmas, pārsteigumu, bailes, aizrautību, ziņkārību un apmierinājumu, ar intensitātes kontroli un sajaukšanu. Klientu apkalpošanas avatārs var pārslēgties no draudzīga uz empātisku, atklājoties frustācijai zvanejtāja balsī.

Tas ir vieta, kur trīs modeļu caurule atdod atmaksu. Raven-1 nosaka lietotāja emocionālo stāvokli, izstrādātāja noteikumi nosaka atbilstošo atbildes emociju, un Phoenix-4 to renderē reālajā laikā.

Ciparu dvīņi divās minūtēs

Viena no pārsteidzošākajām prasībām: Phoenix-4 var izveidot pielāgotu ciparu dvīni tikai no divām minūtēm video. Augšupielādē īsu video par sevi runājam, un sistēma ekstrahē pietiekamu sejas ģeometriju, izteiksmju diapazonu un balss raksturojumu, lai radītu reāllaika avatāru.

Kvalitāte vēl nav VFX filmas līmenī. Demosdemonstrācijās ciparu dvīņi dažkārt parāda artifaktu ātru galvas kustību un sarežģīta apgaismojuma pāreju laikā. Bet videosamrunas, klientu apkalpošanai un pārdošanas prezentācijām kvalitāte ir vairāk nekā pietiekama.

Kāpēc tas nozīmē AI video

Phoenix-4 pārstāv kategorijas paplašinājumu AI video. Līdz šim katrs liels modelis ir fokusējies uz satura izveidi: klipu, reklāmu, īsu filmu, sociālo mediju ziņu veidošana. Phoenix-4 fokusējas uz komunikāciju, daudz lielāku tiešraides video mijiedarbības tirgus.

Apsveriet izmantošanas gadījumus:

Reāllaika sarunu video tirgus ir fundamentāli atšķirīgs no klipu ģenerēšanas tirgus. Tas ir mazāk radošs, bet vairāk komercvirzīts uzreiz. Uzņēmumi, kuri pašlaik tērē Zoom licencej, call center personālam un video produkcijai pārdošanas iespējošanai, ir pirmie mērķi.

Tehniskos ierobežojumus, kas jāseko

Phoenix-4 nav bez ierobežojumiem. Pašreizējā versija darbojas tikai ar vienas sejas, virzienā uz priekšu scenārijiem. Vairāku personu sarunas, pilnas ķermeņa renderēšana un sarežģīti foni nav atbalstīti.

Tikai mākoņa prasība nozīmē, ka latence ir atkarīga no tīkla kvalitātes. Tavus ziņo mazāk nekā 600ms galīgā latence optimālos apstākļos, bet reālās pasaules veiktspēja variēs. Latencei jutīgiem lietojevniem, piemēram, dzīviem klientu apkalpošanas zvaniem, virziens uz malas vertus būtu nepieciešams.

Lielāka bilde

Phoenix-4 pienāk pie savēršanas punkta. Iepriekš renderētā AI video telpa ir pārpildīta, ar desmitiem modeļu konkurējušiem par izšķirtspēju, ilgumu un stilu. Bet reāllaika sarunu video ir gandrīz tukša. Tavus saskaras ar ierobežotu tiešo konkurenci, jo lielākā daļa alternatīvu ir vienkārši lūpu sinhronizācijas pārklājumi nevis pilnas emocionālās renderēšanas sistēmas.

Jautājums ir, vai trīs modeļu arhitektūra var mainīties. Raven-1, Sparrow-1 un Phoenix-4 vienlaikus palaišana prasa ievērojamus skaitļošanas resursus. Pašlaik šie skaitļošanas resursi dzīvo Tavus mākņos. Tas tuvinātu tiem, vai optimizētu patērētāju aparatūrai, atvērtu pavisam jaunus izvietošanas scenārijus.

Plašākai AI video industrijā Phoenix-4 signalizē, ka nākamais robežs nav vienkārši labāki videoklipi. Tas ir video kā reāllaika interfeiss, kur AI nav radošs saturs tavai labā, bet komunikācijas ar tevi.

Phoenix-4 ir pieejama, izmantojot Tavus API. Ciparu dvīņa izveide prasa divu minūšu video augšupielādi. Cenu informācija ir pieejama viņu izstrādātāja portālā.