SkyReels V4: Fyrsta Gervigreindarlíkanið Sem Sér og Heyrir Samtímis

Hvers Vegna Hljóð Hefur Alltaf Verið Blindi Bletturinn í Gervigreindarvídeói

Ef þú hefur einhvern tíma reynt að bæta hljóði við gervigreindargert klipp þekkirðu sársaukann. Búðu til vídeó af regni á rúðu, leitaðu svo að passandi hljóðrás. Tímasettu hana. Stilltu hana. Vonaðu að hún virki ekki óhugnanlega.

Kjarnavandamálið er byggingarlegt. Líkön eins og Kling 3.0 eða Runway Gen-4.5 voru fyrst hönnuð sem sjónrænar vélar. Hljóðstuðningur, ef hann er til staðar, keyrir í gegnum aðskilda leiðslu sem reynir að samstilla eftir á.

Hvernig SkyReels V4 Virkar Í Raun

Skywork AI (rannsóknardeild Kunlun Inc.) byggði eitthvað sem þeir kalla tvístreymis Multimodal Diffusion Transformer, eða MMDiT. Hugsaðu um það sem tvo sérfræðiheila sem deila einu taugakerfi.

Báðar greinarnar deila textakóðara byggðum ofan á Multimodal Large Language Model. Þessi sameiginlegi skilningur er ástæðan fyrir því að beiðni eins og "gler að brotna á marmaragólfi í hægri hreyfingu" framleiðir hljóðáherslur sem lenda innan um það bil 40 ms frá sjónræna skellinum. Það er nógu þétt til að virka eðlilegt.

Hvað Gerir Hana Frábrugðna Seedance eða Kling

Seedance 2.0 frá ByteDance og Kling 3.0 frá Kuaishou styðja bæði hljóð, en nálgun þeirra er grundvallarólík. Þau búa fyrst til vídeóið og keyra svo annað líkan til að framleiða passandi hljóð. Þessi raðnálgun þýðir að hljóðið bregst alltaf við fullgerðum römmum, aldrei skapað samhliða þeim.

Tvístreymisarkitektúr SkyReels V4 þýðir:

• ✓Hljóð- og myndþættir eru merkingarfræðilega samstilltir frá byrjun
• ✓Varasamstilling á talandi andlitum lendir á samhljóðunum, ekki eftir þá
• ✓Umhverfishljóð passa við efniseiginleika (málmur vs. viður vs. gler)
• ✓Engin eftirvinnsla nauðsynleg til að laga tímasetningarrek

Munurinn er lágstemmdur þegar maður horfir á landslag, en stórkostlegur þegar maður horfir á manneskju tala eða hlut snerta yfirborð.

Spurningin Um Opinn Hugbúnað

Fyrri SkyReels útgáfur (V1 til V3) voru að fullu opinn hugbúnaður með niðurhalanlegum vigtum á HuggingFace og GitHub. V4 er nú í takmarkaðri forskoðun með ókeypis stigi á skyreels.ai, en fullar vigtir hafa enn ekki verið gefnar út.

Fyrir opinn hugbúnaðar samfélagið er þetta þess virði að fylgjast náið með. Ef Skywork fylgir sögulegu mynstri sínu ættu V4 vigtirnar að lokum að lenda á HuggingFace. Ef þú þarft opinn hugbúnað fyrir hljóð-vídeógerð í dag eru næstu valkostirnir SkyReels V3 ásamt aðskildu hljóðlíkani.

Hvar SkyReels V4 Stendur Á Listanum

Á Artificial Analysis Video Arena (sem notar blindar atkvæðagreiðslur byggðar á mannlegri kjör) er SkyReels V4 nú með Elo upp á 1.244 fyrir text-to-video. Það setur það nánast á jöfnu við Kling 3.0 (1.243) og á eftir núverandi leiðtoga, HappyHorse-1.0 frá Alibaba (1.347).

Bilið í sjónrænum gæðum milli SkyReels V4 og HappyHorse er raunverulegt. En SkyReels er eina líkanið í topp 5 sem býr til hljóð innbyggt. Ef verkflæðið þitt krefst hljóðs skiptir þessi byggingarlegi kostur meira máli en 100 stiga Elo munur.

Hvað Þetta Þýðir Fyrir Höfunda

Stærri Myndin: Hljóð Er Ekki Lengur Valfrjálst

SkyReels V4 er ekki einangruð tilraun. Við fjölluðum um Seedance 1.5 Pro frá ByteDance sem kynnti hljóð-sjónræna gerð, og víðtækari þróun þess að gervigreindarvídeó brýst út úr þögla tímabilinu. Það sem SkyReels V4 bætir við er sönnun þess að þú getur gert þetta á byggingarstigi, ekki sem eftirvinnslubragð.

Niðurstaðan er skýr: fyrir lok 2026 mun sérhvert gervigreindarvídeólíkan án innbyggðs hljóðs virka ófullnægjandi. Spurningin er ekki hvort þetta verði staðall, heldur hversu hratt.