Henry· DI autorius, peržiūrėjo žmogusSkyReels V4: pirmasis DI modelis, kuris mato ir girdi vienu metu
Skywork AI SkyReels V4 pristato dvigubo srauto difuzijos architektūrą, kuri vienu paleidimu sukuria vaizdo įrašą ir sinchronizuotą garsą. Štai ką tai reiškia kūrėjams.
Kodėl garsas visada buvo DI vaizdo akloji zona
Jei kada bandėte pridėti garsą prie DI sukurto klipo, jūs žinote tą skausmą. Sukurkite vaizdo įrašą, kaip lietus daužiasi į langą, paskui ieškokite tinkamo garso takelio. Suderinkite laiką. Pakoreguokite. Melskitės, kad neatrodytų nejaukiai.
Esminė problema yra architektūrinė. Tokie modeliai kaip Kling 3.0 ar Runway Gen-4.5 buvo statomi pirmiausia kaip vaizdiniai varikliai. Garso palaikymas, jei jis išvis yra, eina per atskirą vamzdyną, kuris bando sinchronizuoti po fakto.
Kaip iš tiesų veikia SkyReels V4
Skywork AI (Kunlun Inc. tyrimų padalinys) sukūrė tai, ką jie vadina dvigubo srauto multimodaliniu difuziniu transformeriu, arba MMDiT. Įsivaizduokite tai kaip dvi specialistų smegenis, kurios dalijasi viena nervų sistema.
Vaizdo šaka
Generuoja vaizdo kadrus iki 1080p, 32 FPS. Tvarko judesį, apšvietimą, scenos kompoziciją ir laikinį nuoseklumą per visą klipą.
Garso šaka
Generuoja sinchronizuotą garsą tame pačiame difuzijos paleidime. Ne pritaiko garsą prie užbaigto vaizdo. Kuria garsą tuo metu, kai formuojasi vaizdas.
Abi šakos dalijasi teksto kodavimo įrenginiu, sukurtu ant multimodalinio didelio kalbos modelio. Šis bendras supratimas yra priežastis, kodėl toks raginimas kaip „stiklas dūžta į marmurines grindis sulėtintu greičiu" duoda garso akcentus, kurie pataiko maždaug 40 ms tikslumu nuo vaizdinio smūgio. Tai pakankamai tiksliai, kad atrodytų natūraliai.
Kuo jis skiriasi nuo Seedance ar Kling
ByteDance Seedance 2.0 ir Kuaishou Kling 3.0 abu palaiko garsą, bet jų požiūris yra iš esmės kitoks. Pirmiausia jie sugeneruoja vaizdo įrašą, paskui paleidžia antrą modelį, kad sukurtų atitinkamą garsą. Šis nuoseklus požiūris reiškia, kad garsas visada reaguoja į užbaigtus kadrus, niekada nekuriamas kartu su jais.
SkyReels V4 dvigubo srauto architektūra reiškia, kad:
- ✓Garso ir vaizdo elementai nuo pat pradžių semantiškai suderinti
- ✓Kalbančių galvų lūpų sinchronizacija pataiko į priebalsius, ne po jų
- ✓Aplinkos garsai atitinka medžiagos savybes (metalas vs. medis vs. stiklas)
- ✓Nereikia pošto apdorojimo, kad būtų ištaisytas laiko nuokrypis
Skirtumas subtilus žiūrint į peizažą, bet dramatiškas žiūrint, kaip žmogus kalba ar objektas sąveikauja su paviršiumi.
Atvirojo kodo klausimas
Ankstesnės SkyReels versijos (V1 iki V3) buvo visiškai atvirojo kodo su atsisiunčiamais svoriais HuggingFace ir GitHub. V4 šiuo metu yra ribotoje peržiūroje su nemokamu lygiu skyreels.ai, bet pilni svoriai dar neišleisti.
Nemokamas lygis su dieniniais generavimo limitais oficialioje platformoje. arXiv straipsnis (2602.21818) išsamiai aprašo visą architektūrą. Ankstesnės versijos lieka atvirojo kodo.
Dar nėra atsisiunčiamų V4 svorių. Nėra savarankiško prieglobos varianto. Nėra gamybinio API. Atvirojo kodo išleidimo grafikas neaiškus.
Atvirojo kodo bendruomenei verta tai stebėti atidžiai. Jei Skywork laikysis savo istorinio modelio, V4 svoriai galiausiai turėtų atsidurti HuggingFace. Jei jums reikia atvirojo kodo garso ir vaizdo generavimo šiandien, artimiausios alternatyvos yra SkyReels V3 plius atskiras garso modelis.
Kur SkyReels V4 yra lyderių lentelėje
Artificial Analysis Video Arena (kuris naudoja aklą žmonių pirmenybės balsavimą) SkyReels V4 šiuo metu reitinguoja 1 244 Elo balais teksto į vaizdą kategorijoje. Tai jį stato beveik lygiose su Kling 3.0 (1 243) ir už dabartinio lyderio, Alibaba HappyHorse-1.0 (1 347).
| Modelis | Elo balas | Garso palaikymas | Atvirasis kodas | Geriausiai tinka |
|---|---|---|---|---|
| HappyHorse-1.0 | 1 347 | Ne | Ne | Gryna vaizdo kokybė |
| SkyReels V4 | 1 244 | Vidinis (dvigubas srautas) | Laukiama | Audiovizualinis turinys |
| Kling 3.0 | 1 243 | Nuoseklus | Ne | Gamybinė apimtis |
| Wan 2.7 | Aukščiausia pakopa | Ne | Taip | Fotorealizmas |
| LTX-2 | Žemesnis | Ne | Taip | Kainos efektyvumas |
Vaizdo kokybės atotrūkis tarp SkyReels V4 ir HappyHorse yra realus. Bet SkyReels yra vienintelis modelis top 5, kuris generuoja garsą viduje. Jei jūsų darbo eigai reikia garso, šis architektūrinis pranašumas svarbesnis nei 100 taškų Elo skirtumas.
Ką tai reiškia kūrėjams
Socialinio turinio kūrėjai
Muzikinių klipų prodiuseriai
Reklamų kūrėjai
Platesnis vaizdas: garsas nebėra pasirinktinis
SkyReels V4 nėra izoliuotas eksperimentas. Aprašėme ByteDance Seedance 1.5 Pro pristatymą su audiovizualiniu generavimu ir platesnę tendenciją, kaip DI vaizdas išsiveržia iš nebyliojo kino eros. Ką SkyReels V4 prideda, yra įrodymas, kad tai galima padaryti architektūros lygiu, ne kaip pošto apdorojimo gudrybę.
Išvada aiški: iki 2026 metų pabaigos bet kuris DI vaizdo modelis be vidinio garso atrodys nebaigtas. Klausimas ne ar tai taps standartu, o kaip greitai.
Greita nuoroda: SkyReels V4
- Kūrėjas: Skywork AI (Kunlun Inc.)
- Architektūra: Dvigubo srauto multimodalinis difuzinis transformeris (MMDiT)
- Raiška: Iki 1080p, 32 FPS
- Trukmė: Iki 15 sekundžių
- Garsas: Vidinis bendras generavimas (ne pošto apdorojimas)
- Įvestys: Tekstas, vaizdai, vaizdo klipai, kaukės, garso atskaitos
- Būsena: Ribota peržiūra adresu skyreels.ai (svoriai laukia atvirojo kodo išleidimo)
- Straipsnis: arXiv 2602.21818
Kūrybinių technologijų specialistas iš Lozanos, tyrinėjantis DI ir meno susitikimo vietą. Tarp elektroninės muzikos sesijų eksperimentuoja su generatyviniais modeliais.
View profile →Patiko tai, ką perskaitėte?
Paverskite savo idėjas neribotos trukmės DI vaizdo įrašais per kelias minutes.
Susiję straipsniai
Tęskite pažintį su šiais susijusiais įrašais
Kovas 2026: Kaip 12 modelių per 7 dienas žudė tik debesų erą
Kovas 2026 buvo pats intensyviausias dirbtinio intelekto vaizdo modelio paleidimų periodas istorijoje. Per vieną savaitę pasirodė daugiau nei dešimt naujų modelių, o pagrindinė istorija yra ne apie vieną modelį, o apie tai, kad lokalus generavimas dabar konkuruoja su debesimis.
Helios: 14B Parametrų Modelis, Kuris Valdo Realaus Laiko AI Vaizdo Generavimą Vartotojo Aparatūroje
Pekino universitetas, ByteDance ir Canva Helios generuoja minutės trukmės AI vaizdo įrašus 19.5 FPS greičiu su tik 6GB VRAM, ir jis yra visiškai atviro kodo.
Leiskite AI vaizdo įrašams vietoje: LTX-2, RTX ir ComfyUI 2026 m.
Sukurkite 4K AI vaizdo įrašus savame GPU. Be prenumeratos, be debesų, be duomenų privatumo baimės. Čia visos, ko jums reikia, norint pradėti.