SkyReels V4: L-Ewwel Mudell tal-AI li Jara u Jisma' fl-Istess Ħin

Kull mudell tal-vidjow bl-AI sa issa ttratta l-awdjo bħala xi ħaġa sekondarja. Tiġġenera l-klipp l-ewwel, imbagħad iżżid il-ħoss wara. SkyReels V4 jarmi din il-proċedura kollha barra mit-tieqa. Dan huwa l-ewwel mudell li jaħseb fi stampi u f'ħoss fl-istess ħin, u r-riżultati tassew jissorprendu.

Għaliex l-Awdjo Dejjem Kien il-Punt Għama tal-Vidjow tal-AI

Jekk qatt ippruvajt iżżid il-ħoss ma' klipp iġġenerat bl-AI, taf l-uġigħ. Tiġġenera vidjow ta' xita li taħbat ma' tieqa, imbagħad tfittex traċċa awdjo li taqbel. Issinkronizzaha. Aġġustaha. Itlob li ma tinstemax stramba.

Il-problema fl-essenza tagħha hija arkitettonika. Mudelli bħal Kling 3.0 jew Runway Gen-4.5 inbnew l-ewwel bħala magni viżwali. L-appoġġ tal-awdjo, meta jeżisti, jgħaddi minn pipeline separata li tipprova tissinkronizza wara li jkun lest.

💡

Esplorajna eżattament din it-tensjoni fl-analiżi fil-fond tagħna dwar il-ġenerazzjoni unifikata ta' awdjo u vidjow. SkyReels V4 huwa l-ewwel mudell ta' produzzjoni li tabilħaqq isolviha fil-livell tal-arkitettura.

Kif SkyReels V4 Tassew Jaħdem

Skywork AI (diviżjoni ta' riċerka ta' Kunlun Inc.) bnew xi ħaġa li jsejħulha Multimodal Diffusion Transformer b'żewġ kanali, jew MMDiT. Aħsibha bħala żewġ imħuħ speċjalizzati li jaqsmu sistema nervuża waħda.

Il-Fergħa Viżwali

Tiġġenera frejms tal-vidjow sa 1080p, 32 FPS. Tieħu ħsieb il-moviment, id-dawl, il-kompożizzjoni tax-xena, u l-konsistenza temporali tul il-klipp kollu.

Il-Fergħa tal-Awdjo

Tiġġenera ħoss sinkronizzat fl-istess pass tad-diffużjoni. Mhux taqbel ħoss ma' vidjow lest. Toħloq il-ħoss waqt li l-vidjow jifforma.

Iż-żewġ fergħat jaqsmu encoder tat-test mibni fuq Mudell tal-Lingwa Multimodali Kbir. Din il-fehma kondiviża hija għaliex prompt bħal "ħġieġ jinkiser fuq art tal-irħam f'movement bil-mod" jipproduċi enfasi awdjo li jinżlu fi ħdan madwar 40ms tal-impatt viżwali. Dan huwa stretti biżżejjed biex iħoss naturali.

1080p

Riżoluzzjoni Massima

32 FPS

Rata tal-Frejms

15s

Tul Massimu

~40ms

Preċiżjoni Sink Awdjo

Dak Li Jiddifferenzjah minn Seedance jew Kling

Seedance 2.0 ta' ByteDance u Kling 3.0 ta' Kuaishou it-tnejn jappoġġjaw l-awdjo, imma l-approċċ tagħhom huwa fundamentalment differenti. Jiġġeneraw il-vidjow l-ewwel, imbagħad iħaddmu mudell ieħor biex jipproduċi awdjo li jaqbel. Dan l-approċċ sekwenzjali jfisser li l-awdjo dejjem qiegħed jirreaġixxi għal frejms lesti, qatt ma jinħoloq magħhom.

L-arkitettura b'żewġ kanali ta' SkyReels V4 tfisser:

✓L-elementi awdjo u viżwali huma allinjati semantikament mill-bidu
✓Is-sink tax-xufftejn fuq irjus li jitkellmu jinżel fuq il-konsonanti, mhux warajhom
✓Il-ħsejjes tal-ambjent jaqblu mal-proprjetajiet tal-materjal (metall vs injam vs ħġieġ)
✓Ma hemmx bżonn ipproċessar wara biex tikkoreġi ż-żmien

Id-differenza hija sottili meta tara pajsaġġ, imma drammatika meta tara persuna titkellem jew oġġett jinteraġixxi ma' wiċċ.

Il-Mistoqsija tas-Sors Miftuħ

Il-verżjonijiet preċedenti ta' SkyReels (V1 sa V3) kienu kompletament open-source bil-piżijiet jistgħu jitniżżlu fuq HuggingFace u GitHub. V4 bħalissa qiegħed f'preview limitat b'livell b'xejn fuq skyreels.ai, imma l-piżijiet sħaħ għadhom ma ġewx rilaxxjati.

✓Dak li hu disponibbli issa

Livell b'xejn b'limiti ta' ġenerazzjoni ta' kuljum fuq il-pjattaforma uffiċjali. Il-paper ta' arXiv (2602.21818) jiddetalja l-arkitettura sħiħa. Il-verżjonijiet preċedenti jibqgħu open-source.

✗Dak li għadu nieqes

Għad m'hemmx piżijiet għat-tniżżil ta' V4. Ebda għażla ta' self-hosting. Ebda API ta' produzzjoni. Iż-żmien għar-rilaxx open-source mhux ċar.

Għall-komunità open-source, jiswa li tinżamm taħt għajnejk mill-qrib. Jekk Skywork isegwu l-mudell storiku tagħhom, il-piżijiet ta' V4 fl-aħħar għandhom jaslu fuq HuggingFace. Jekk teħtieġ ġenerazzjoni open-source ta' awdjo u vidjow illum, l-alternattivi l-eqreb huma SkyReels V3 flimkien ma' mudell awdjo separat.

Fejn Jinsab SkyReels V4 fil-Klassifika

Fuq Artificial Analysis Video Arena (li juża votazzjoni umana għamja ta' preferenza), SkyReels V4 bħalissa qiegħed klassifikat b'Elo ta' 1,244 għat-test-għall-vidjow. Dan ipoġġih kważi pari ma' Kling 3.0 (1,243) u warrabit il-mexxej attwali, HappyHorse-1.0 ta' Alibaba (1,347).

Mudell	Punteġġ Elo	Appoġġ Awdjo	Sors Miftuħ	L-Aħjar Għal
HappyHorse-1.0	1,347	Le	Le	Kwalità viżwali pura
SkyReels V4	1,244	Nattiv (żewġ kanali)	Pendenti	Kontenut awdjo-viżwali
Kling 3.0	1,243	Sekwenzjali	Le	Skala ta' produzzjoni
Wan 2.7	Top	Le	Iva	Fotorealiżmu
LTX-2	Aktar baxx	Le	Iva	Effiċjenza tal-ispiża

Tabella ta' tqabbil li turi SkyReels V4, Kling 3.0, HappyHorse-1.0, u Wan 2.7 bil-kwalità viżwali, l-appoġġ tal-awdjo, is-sors miftuħ, u l-veloċità — SkyReels V4 huwa l-uniku mudell tat-top li jiġġenera awdjo b'mod nattiv

Id-distakk fil-kwalità viżwali bejn SkyReels V4 u HappyHorse huwa reali. Imma SkyReels huwa l-uniku mudell fl-ewwel ħamsa li jiġġenera l-awdjo b'mod nattiv. Jekk il-fluss tax-xogħol tiegħek jeħtieġ ħoss, dan il-vantaġġ arkitettoniku jiswa aktar minn differenza ta' 100 punti Elo.

Xi Tfisser Din għall-Kreaturi

🎬

Kreaturi ta' Kontenut Soċjali

SkyReels V4 huwa mibni għal turnaround mgħaġġel. Iġġenera klipp b'awdjo li jaqbel, ippubblikah. Ebda pass ta' disinn tal-ħoss. Għall-kreaturi ta' TikTok, Reels u Shorts, dan inaqqas il-ħin tal-produzzjoni b'mod sinifikanti.

🎵

Produtturi ta' Vidjows Mużikali

Il-fergħa tal-awdjo tista' taċċetta awdjo ta' referenza bħala gwida, li jfisser li tista' tagħtih traċċa u tikseb kontenut viżwali li jimxi mar-ritmu. Riżultati bikrija juru enfasi tal-moviment li jissinkronizzaw tajjeb mar-ritmu mużikali.

📢

Kreaturi tar-Reklami

Vidjows ta' prodotti b'ħoss ambjentali, klipps lesti għall-voiceover, u kontenut ta' marka b'pajsaġġ tal-ħoss kollha jsiru possibbli f'pass wieħed ta' ġenerazzjoni. Għall-marki li jipproduċu fuq skala kbira, l-iffrankar tal-ħin jakkumula malajr.

L-Istampa l-Kbira: L-Awdjo M'Għadux Fakultattiv

SkyReels V4 mhux esperiment iżolat. Koprejna l-introduzzjoni ta' Seedance 1.5 Pro ta' ByteDance fil-ġenerazzjoni awdjo-viżwali, u t-tendenza usa' tal-vidjow tal-AI joħroġ mill-era siekta. Dak li SkyReels V4 iżid huwa prova li tista' tagħmel dan fil-livell tal-arkitettura, mhux bħala trick ta' wara l-ipproċessar.

L-implikazzjoni hija ċara: sat-tmiem tal-2026, kull mudell tal-vidjow bl-AI mingħajr awdjo nattiv se jħoss inkomplet. Il-mistoqsija mhix jekk dan isirx standard, imma kemm malajr.

💡

Trid tiġġenera vidjow tal-AI bil-ħoss illum? Il-pipeline ta' Bonega awtomatikament jirrouta lejn l-aħjar għodod disponibbli u jibqa' jaġġorna hekk kif mudelli bħal SkyReels V4 jimmaturaw. Ipprova b'xejn.

Referenza Mgħaġġla: SkyReels V4

Żviluppatur: Skywork AI (Kunlun Inc.)
Arkitettura: Multimodal Diffusion Transformer b'żewġ kanali (MMDiT)
Riżoluzzjoni: Sa 1080p f'32 FPS
Tul: Sa 15-il sekonda
Awdjo: Ko-ġenerazzjoni nattiva (mhux wara l-ipproċessar)
Inputs: Test, immaġini, klipps tal-vidjow, maskri, referenzi awdjo
Stat: Preview limitat fuq skyreels.ai (piżijiet pendenti għal rilaxx open-source)
Paper: arXiv 2602.21818