SkyReels V4: pirmais MI modelis, kas redz un dzird vienlaikus

Kāpēc skaņa vienmēr ir bijusi MI video aklā zona

Ja jebkad esat mēģinājuši pievienot skaņu MI ģenerētam klipam, jūs zināt to sāpi. Ģenerējiet video ar lietu, kas sit pret logu, tad meklējiet piemērotu audio celiņu. Saskaņojiet laikus. Pielāgojiet. Lūdziet, lai tas neliekas dīvains.

Pamatproblēma ir arhitektoniska. Tādi modeļi kā Kling 3.0 vai Runway Gen-4.5 tika būvēti vispirms kā vizuāli dzinēji. Audio atbalsts, ja tas vispār ir, iet caur atsevišķu cauruļvadu, kas mēģina sinhronizēt pēc fakta.

Kā SkyReels V4 patiesībā strādā

Skywork AI (Kunlun Inc. pētniecības nodaļa) uzbūvēja kaut ko, ko viņi sauc par divu plūsmu multimodālo difūzijas transformeri jeb MMDiT. Iedomājieties to kā divas specializētas smadzenes, kas dala vienu nervu sistēmu.

Abas nozares dala teksta kodētāju, kas būvēts uz multimodāla liela valodas modeļa. Šī kopīgā izpratne ir iemesls, kāpēc tāda uzvedne kā "stikls plīst uz marmora grīdas palēninātā uzņēmumā" rada audio akcentus, kas iekrīt aptuveni 40 ms robežās no vizuālā trieciena. Tas ir pietiekami precīzi, lai justos dabiski.

Ar ko tas atšķiras no Seedance vai Kling

ByteDance Seedance 2.0 un Kuaishou Kling 3.0 abi atbalsta audio, bet to pieeja ir fundamentāli atšķirīga. Tie vispirms ģenerē video, tad palaiž otru modeli, lai radītu atbilstošu audio. Šī secīgā pieeja nozīmē, ka audio vienmēr reaģē uz pabeigtiem kadriem, nekad neveidojas kopā ar tiem.

SkyReels V4 divu plūsmu arhitektūra nozīmē, ka:

• ✓Audio un vizuālie elementi ir semantiski saskaņoti no paša sākuma
• ✓Runājošu galvu lūpu sinhronizācija iekrīt uz līdzskaņiem, ne pēc tiem
• ✓Vides skaņas atbilst materiāla īpašībām (metāls vs. koks vs. stikls)
• ✓Nav vajadzīga pēcapstrāde, lai izlabotu laika nobīdi

Atšķirība ir smalka, vērojot ainavu, bet dramatiska, vērojot cilvēku runājam vai objektu mijiedarbojamies ar virsmu.

Atvērtā koda jautājums

Iepriekšējās SkyReels versijas (V1 līdz V3) bija pilnīgi atvērtā koda ar lejupielādējamiem svariem HuggingFace un GitHub. V4 pašlaik ir ierobežotā priekšskatījumā ar bezmaksas līmeni vietnē skyreels.ai, bet pilnie svari vēl nav izlaisti.

Atvērtā koda kopienai to ir vērts cieši vērot. Ja Skywork sekos savai vēsturiskajai shēmai, V4 svariem galu galā vajadzētu nonākt HuggingFace. Ja jums šodien ir vajadzīga atvērtā koda audio-video ģenerēšana, tuvākās alternatīvas ir SkyReels V3 plus atsevišķs audio modelis.

Kur SkyReels V4 atrodas līderu sarakstā

Artificial Analysis Video Arena (kas izmanto aklu cilvēku izvēles balsošanu) SkyReels V4 pašlaik ierindo ar Elo 1244 teksta-uz-video kategorijā. Tas to nostāda gandrīz neizšķirtā ar Kling 3.0 (1243) un aiz pašreizējā līdera, Alibaba HappyHorse-1.0 (1347).

Vizuālās kvalitātes atstarpe starp SkyReels V4 un HappyHorse ir reāla. Bet SkyReels ir vienīgais modelis top 5, kas ģenerē audio iebūvēti. Ja jūsu darbplūsmai vajag skaņu, šī arhitektoniskā priekšrocība sver vairāk nekā 100 punktu Elo atšķirība.

Ko tas nozīmē veidotājiem

Plašāka aina: audio vairs nav izvēles iespēja

SkyReels V4 nav izolēts eksperiments. Mēs aplūkojām ByteDance Seedance 1.5 Pro ievestu audiovizuālo ģenerēšanu un plašāku tendenci, kā MI video izlaužas no klusā kino laikmeta. Ko SkyReels V4 pievieno, ir pierādījums, ka to var izdarīt arhitektūras līmenī, ne kā pēcapstrādes triku.

Secinājums ir skaidrs: līdz 2026. gada beigām jebkurš MI video modelis bez iebūvēta audio jutīsies nepabeigts. Jautājums nav par to, vai tas kļūs par standartu, bet cik ātri.