Tavus Phoenix-4: Reaaliaikainen tunneäly ja AI-video

Klipeistä keskusteluihin

AI-videon ala on ollut lukittuun kilpailuun resoluution, keston ja tarkkuuden yli. Kling 3.0 nosti natiivi 4K:n. Seedance 2.0 laukaisi Hollywoodin oikeusjutut. Sora 2 sai Disney-sopimuksen. Kaikki vaikuttavaa, kaikki samaa kaavaa seuraten: kirjoita kehote, odota, saa video. Phoenix-4 rikkoo tämän mallin. Julkaistu 18. helmikuuta 2026, se on ensimmäinen malli, joka on suunniteltu reaaliaikaisen ihmisen renderöintiin tunneälyllä. 10 sekunnin klippin luomisen sijaan 30 sekunnissa se renderöi täyden 1080p kasvojen 40 ruudulla sekunnissa ja alle 600 millisekunnin viiveellä. Se ei ole videoiden tuottaja. Se on läsnäolon moottori.

Arkkitehtuuri: Kolme mallia harmoniassa

Se, mikä tekee Phoenix-4:n teknisesti kiinnostavaksi, on kolmikomponenttinen putki, jossa jokainen komponentti käsittelee erillistä osaa ihmisen viestinnästä.

Raven-1: Tunneälyä havaitseminen

Pinon ensimmäinen malli on Raven-1, havainto moduuli, joka analysoi käyttäjän videovirran reaaliajassa. Se havaitsee kasvojen ilmeet, äänen sävyn ja keskustelun vihjeet rakentaakseen jatkuvan tunnetilan kartan. Tämä ei ole yksinkertainen tunneanalyysi. Raven-1 seuraa mikropintoja, tauon kestoa, puhenopeutta ja katsesuuntaa. Tulos on monidimensionaalinen tunnusvektori, joka syötetään renderöintilinjaan.

Sparrow-1: Keskustelun ajoitus

Toinen komponentti, Sparrow-1, käsittelee keskustelevan tekoälyn aliarvioiduimman ongelman: tietää milloin puhua. Nykyiset ääniapu-assistentit joko keskeyttävät sinut tai odottavat liian kauan. Sparrow-1 käyttää full-duplex-arkkitehtuuria, joka kuuntelee ja puhuu samanaikaisesti, heijastellen sitä, kuinka ihmiset todella keskustelevat. Se ennustaa vuoronvaihdanvihjeet, hallitsee taustasignaaleja (nyökkäys, „mm-hmm" vastaavat), ja säätää vastausnopeutta Raven-1:n tunnetilan perusteella. Jos olet hiljaa koska ajattelet, odottaa. Jos olet hiljaa koska olet hämmentynyt, selventää.

Phoenix-4: Gaussian-diffusio-renderöinti

Renderöintimalli itse käyttää Gaussian-diffusio-hybridi-lähestymistapaa. Perinteiset diffusio-mallit ovat liian hitaita reaaliaikaista käyttöä varten. Puhtaasti Gaussian-menetelmiltä puuttuu diffusion yksityiskohtaisesti. Phoenix-4 yhdistää molemmat: käyttää Gaussian-splatting-tekniikkaa pohjageometrialle ja reaaliaikaiselle seurannalle, sitten soveltaa diffusion tarkennusta kohdistetulla tavalla ilmaisukriittisille alueille (silmät, suu, kulmakarva).

Tunneohjaajisen API

Kehittäjille käytännöllisimmän ominaisuus on tunneohjaajinen API. Sen sijaan että antaisit tekoälyn päättää, kuinka ilmaista tunteita, voit määrittää kohdetunteet ohjelmallisesti.

{"emotion": "empathetic_concern", "intensity": 0.7, "transition_speed": "gradual", "micro_expressions": true}

API tukee yli kymmentä tunnetilaa, kuten iloa, surua, vihaa, yllätystä, pelkoa, innostusta, uteliaisuutta ja tyytyväisyyttä, intensiteetin ohjauksella ja sekoituksella. Asiakaspalvelun avatar voi siirtyä ystävällisestä empatiaan havaittaessa turhautumista puhelun vastaanottajan äänessä. Tässä kolmikomponenttinen putki palaa. Raven-1 havaitsee käyttäjän tunnetilan, kehittäjän säännöt määrittävät sopivan vastausemotionin, ja Phoenix-4 renderöi sen reaaliajassa.

Digitaaliset kaksoset kahdessa minuutissa

Yksi hämmästyttävimmistä väitteistä: Phoenix-4 voi luoda mukautetun digitaalisen kaksosen vain kahdesta minuutista materiaalia. Lataa lyhyt video itsestäsi puhumassa, ja järjestelmä poistaa riittävän kasvojen geometrian, ilmaisualueen ja ääniominaisuudet luodakseen reaaliaikaisen avatarin.

Laatu ei vielä ole elokuvan VFX-tasolla. Esittelyissä digitaaliset kaksoset näyttävät joskus artefakteja nopeiden pääänliikkeiden ja monimutkaisten valaistussiirtymien ympärillä. Mutta videokutsuille, asiakaspalvelulle ja myyntiesityksille tarkkuus on enemmän kuin riittävä.

Miksi tämä merkitsee AI-videoon

Phoenix-4 edustaa luokan laajentamista AI-videolle. Toistaiseksi jokainen suuri malli on keskittynyt sisällön luomiseen: klippien, mainosten, lyhytelokuvien ja sosiaalisen median viestien luomiseen. Phoenix-4 keskittyy viestintään, live-videon vuorovaikutuksen paljon suuremmille markkinoille. Harkitse käyttötapauksia:

Reaaliaikaisen keskusteluvideo markkinat ovat pohjimmaltaan erilaiset klipsien luomisen markkinoista. Se on vähemmän luovaa, mutta kaupallisesti välittömpää. Yritykset, jotka tällä hetkellä käyttävät Zoom-lisensseihin, puhelinkeskuksen henkilöstöön ja myyntiä kiihdyttävään videotuotantoon, ovat ensimmäisiä kohteita.

Tekniset rajoitukset joiden seurantaan

Phoenix-4 ei ole ilman rajoituksia. Nykyinen versio toimii yksinomaan yksittäisen kasvon, eteenpäin katsovan skenaarioissa. Usean henkilön keskustelut, täyden kehon renderöinti ja monimutkainen tausta eivät ole tuettuja.

Pelkästään pilveen perustuva vaatimus tarkoittaa, että viive riippuu verkon laadusta. Tavus raportoi alle 600 ms päästä päähän optimaalisissa olosuhteissa, mutta todellinen suorituskyky vaihtelee. Viiveelle herkkiin sovelluksiin, kuten live asiakaskutsuihin, edge-käyttöönotto on lopulta välttämätöntä.

Suurempi kuva

Phoenix-4 saapuu inflexio-pisteeseen. Esirenderöity AI-videotila on ahdas, jossa kymmenet mallit kilpailevat resoluution, keston ja tyylin parissa. Mutta reaaliaikainen keskusteluvideon melkein tyhjä. Tavus kohtaa rajallisen suoran kilpailun, jolloin useimmat vaihtoehdot ovat yksinkertaisia huuli-synkronisoinnin peitteitä eikä täysiä tunneälyn renderöintijärjestelmiä. Kysymys on, pystyykö kolmikomponenttinen arkkitehtuuri skaalautumaan. Raven-1:n, Sparrow-1:n ja Phoenix-4:n samanaikainen ajaminen vaatii merkittävää laskentaa. Juuri nyt se lasku elää Tavusin pilvessä. Tuomalla sen lähemmäs reunaa tai optimoimalla sitä kuluttajahardwarelle, se avataisi täysin uusia käyttöönotto-skenaarioita. Laajemmalle AI-videoteollisuudelle Phoenix-4 merkitsee, että seuraava raja ei ole vain parempia videoita. Se on video reaaliaikaisen rajapintana, jossa tekoäly ei luo sisältöä sinulle, vaan kommunikoi kanssasi.

Phoenix-4 on saatavilla Tavus API:n kautta. Digitaalisten kaksosien luominen vaatii kahden minuutin videolatauksen. Hinnoittelun tiedot ovat saatavilla heidän kehittäjäportaalissaan.