Henry· MI-szerző, ember által ellenőrizveSkyReels V4: Az első MI-modell, amely egyszerre lát és hall
A Skywork AI SkyReels V4 modellje kettős folyamú diffúziós architektúrát mutat be, amely egyetlen menetben generál videót és szinkronizált hangot. Íme, mit jelent ez az alkotók számára.
Miért volt mindig a hang az MI-videó vakfoltja
Ha valaha próbáltál hangot adni egy MI által generált klipphez, tudod, milyen kínszenvedés. Generálsz egy videót az ablakhoz csapódó esőről, aztán keresel hozzá illő hangsávot. Időzíted. Igazítod. Imádkozol, hogy ne legyen hátborzongató.
Az alapprobléma architekturális. Az olyan modelleket, mint a Kling 3.0 vagy a Runway Gen-4.5, elsősorban vizuális motoroknak építették. A hangtámogatás, ha egyáltalán van, külön folyamaton fut, amely utólag próbálja szinkronizálni.
Hogyan működik valójában a SkyReels V4
A Skywork AI (a Kunlun Inc. kutatórészlege) olyat épített, amit kettős folyamú multimodális diffúziós transzformernek, vagyis MMDiT-nek neveznek. Képzelj el két szakosodott agyat, amelyek egy idegrendszeren osztoznak.
A vizuális ág
Akár 1080p-s, 32 FPS-es videókockákat generál. Kezeli a mozgást, a megvilágítást, a jelenetkompozíciót és az időbeli koherenciát a teljes klipben.
A hangág
Szinkronizált hangot generál ugyanabban a diffúziós menetben. Nem hangot illeszt kész videóhoz. A hangot azalatt hozza létre, amíg a videó kialakul.
Mindkét ág közös szövegkódolón osztozik, amely egy multimodális nagy nyelvi modellre épül. Ez a közös megértés az oka annak, hogy egy olyan promptra, mint "üveg törik márványpadlón lassított felvételen", a hangakcentusok körülbelül 40 ms-on belül érkeznek a vizuális becsapódáshoz képest. Ez elég szoros ahhoz, hogy természetesnek érződjön.
Miben különbözik a Seedance-től vagy a Klingtől
A ByteDance Seedance 2.0 és a Kuaishou Kling 3.0 modellje is támogatja a hangot, de a megközelítésük alapvetően más. Először a videót generálják, aztán egy második modellt futtatnak, hogy hozzá illő hangot készítsen. Ez a szekvenciális megközelítés azt jelenti, hogy a hang mindig kész képkockákra reagál, sosem velük együtt jön létre.
A SkyReels V4 kettős folyamú architektúrája azt jelenti, hogy:
- ✓A hang és a vizuális elemek a kezdetektől szemantikailag igazodnak
- ✓A beszélő fejek szájszinkronja a mássalhangzókra esik, nem azok után
- ✓A környezeti hangok illeszkednek az anyagtulajdonságokhoz (fém vs. fa vs. üveg)
- ✓Nincs szükség utófeldolgozásra az időzítési csúszás kijavításához
A különbség egy tájképnél finom, de drámai, ha valakit beszélni nézel, vagy egy tárgyat, amely felülettel érintkezik.
A nyílt forráskód kérdése
A korábbi SkyReels-verziók (V1–V3) teljesen nyílt forráskódúak voltak, letölthető súlyokkal a HuggingFace-en és a GitHubon. A V4 jelenleg korlátozott előnézetben van ingyenes szinttel a skyreels.ai oldalon, de a teljes súlyokat még nem adták ki.
Ingyenes szint napi generálási limitekkel a hivatalos platformon. Az arXiv-tanulmány (2602.21818) részletezi a teljes architektúrát. A korábbi verziók nyílt forráskódúak maradnak.
Nincsenek még letölthető V4-súlyok. Nincs önhostolási lehetőség. Nincs éles API. A nyílt forráskódú kiadás ütemezése bizonytalan.
A nyílt forráskódú közösség számára érdemes ezt szorosan figyelni. Ha a Skywork követi történelmi mintáját, a V4-súlyok végül a HuggingFace-en kötnek ki. Ha ma kell nyílt forráskódú audio-videó generálás, a legközelebbi alternatíva a SkyReels V3 plusz egy különálló hangmodell.
Hol áll a SkyReels V4 a ranglistán
Az Artificial Analysis Video Arena (amely vak emberi preferencia-szavazást használ) jelenleg 1 244 Elo-pontra teszi a SkyReels V4-et szövegből-videó kategóriában. Ez majdnem holtversenybe hozza a Kling 3.0-val (1 243), és a jelenlegi vezető, az Alibaba HappyHorse-1.0 (1 347) mögé sorolja.
| Modell | Elo-pontszám | Hangtámogatás | Nyílt forrás | Mihez a legjobb |
|---|---|---|---|---|
| HappyHorse-1.0 | 1 347 | Nincs | Nincs | Tiszta vizuális minőség |
| SkyReels V4 | 1 244 | Natív (kettős folyam) | Függőben | Audiovizuális tartalom |
| Kling 3.0 | 1 243 | Szekvenciális | Nincs | Éles méretarány |
| Wan 2.7 | Csúcskategória | Nincs | Igen | Fotorealizmus |
| LTX-2 | Alacsonyabb | Nincs | Igen | Költséghatékonyság |
A vizuális minőségi különbség a SkyReels V4 és a HappyHorse között valós. De a SkyReels az egyetlen top 5 modell, amely natívan generál hangot. Ha a munkafolyamatod hangot igényel, ez az architekturális előny többet nyom a latban, mint egy 100 pontos Elo-különbség.
Mit jelent ez az alkotóknak
Közösségi tartalomkészítők
Klipkészítők
Hirdetéskészítők
A nagyobb kép: a hang már nem opcionális
A SkyReels V4 nem elszigetelt kísérlet. Beszámoltunk a ByteDance Seedance 1.5 Pro audiovizuális generálást bevezető modelljéről, és a tágabb trendről, ahogy az MI-videó kitör a néma korszakból. Amit a SkyReels V4 hozzátesz, az bizonyíték arra, hogy ezt architekturális szinten meg lehet csinálni, nem utófeldolgozási trükkként.
A következtetés egyértelmű: 2026 végére bármely natív hang nélküli MI-videómodell befejezetlennek fog hatni. A kérdés nem az, hogy ez szabvánnyá válik-e, hanem hogy milyen gyorsan.
Gyors összefoglaló: SkyReels V4
- Fejlesztő: Skywork AI (Kunlun Inc.)
- Architektúra: Kettős folyamú multimodális diffúziós transzformer (MMDiT)
- Felbontás: Akár 1080p, 32 FPS
- Időtartam: Akár 15 másodperc
- Hang: Natív együttgenerálás (nem utófeldolgozás)
- Bemenetek: Szöveg, képek, videóklipek, maszkok, hangreferenciák
- Állapot: Korlátozott előnézet a skyreels.ai oldalon (a súlyok várnak a nyílt forráskódú kiadásra)
- Tanulmány: arXiv 2602.21818
Lausanne-i kreatív technológus, aki azt kutatja, hol találkozik az MI a művészettel. Elektronikus zenei alkalmak között generatív modellekkel kísérletezik.
View profile →Kapcsolódó cikkek
Folytasd a felfedezést ezekkel a kapcsolódó bejegyzésekkel
A márciusi 2026-os AI-lavina: Hogyan ölte meg 12 modell 7 nap alatt a kizárólag felhőalapú korszakot
A 2026 márciusa az AI-videómodellek történetének legintenzívebb kiadási periódusa volt. Egy hét alatt több mint egy tucat új modell érkezett, és a legnagyobb hír nem egy konkrét kiadás, hanem az, hogy a helyi generálás immár összemérhető a felhővel.
Helios: A 14B paraméterű modell, amely valós idejű AI-videót futtat fogyasztói hardveren
A Peking-i Egyetem, a ByteDance és a Canva Helios-a percnyi AI-videókat készít 19,5 FPS-sel mindössze 6GB VRAM-mal, és teljes mértékben nyílt forráskódú.
AI videó futtatása helyileg: LTX-2, RTX és ComfyUI 2026-ban
4K AI videó generálása a saját GPU-n az LTX-2 és ComfyUI segítségével. Nincs előfizetés, nincs felhő, nincs adatvédelmi aggály. Itt vannak az összes szükséges információk az induláshoz.