SkyReels V4: Het Eerste AI-Model Dat Tegelijk Ziet en Hoort

Waarom Geluid Altijd de Blinde Vlek van AI-Video Was

Als je ooit hebt geprobeerd geluid toe te voegen aan een AI-gegenereerde clip, ken je de pijn. Genereer een video van regen op een raam, ga dan op zoek naar een passend audiospoor. Time het. Pas het aan. Hoop dat het niet onheilspellend voelt.

Het kernprobleem is architectonisch. Modellen zoals Kling 3.0 of Runway Gen-4.5 zijn allereerst gebouwd als visuele engines. Audio-ondersteuning loopt, indien aanwezig, via een aparte pijplijn die achteraf probeert te synchroniseren.

Hoe SkyReels V4 Echt Werkt

Skywork AI (een onderzoeksdivisie van Kunlun Inc.) heeft iets gebouwd dat ze een dual-stream Multimodal Diffusion Transformer noemen, of MMDiT. Zie het als twee specialistische hersenen die één zenuwstelsel delen.

Beide takken delen een tekstencoder die bovenop een Multimodal Large Language Model is gebouwd. Dat gedeelde begrip is waarom een prompt als "glas dat in slow motion op een marmeren vloer breekt" audio-accenten oplevert die binnen ongeveer 40 ms van de visuele inslag landen. Strak genoeg om natuurlijk te voelen.

Wat Maakt Het Anders dan Seedance of Kling

ByteDance's Seedance 2.0 en Kuaishou's Kling 3.0 ondersteunen beide audio, maar hun aanpak is fundamenteel anders. Ze genereren eerst de video en draaien daarna een tweede model om passend geluid te produceren. Door die volgorde reageert audio altijd op afgewerkte frames, in plaats van er samen mee te ontstaan.

De dual-stream architectuur van SkyReels V4 betekent:

• ✓Audio en beeld zijn vanaf het begin semantisch op elkaar afgestemd
• ✓Lipsync bij sprekende personen valt op de medeklinkers, niet erna
• ✓Omgevingsgeluiden passen bij materiaaleigenschappen (metaal vs. hout vs. glas)
• ✓Geen nabewerking nodig om timingafwijkingen te corrigeren

Het verschil is subtiel bij een landschap, maar dramatisch bij iemand die spreekt of een object dat een oppervlak raakt.

De Open-Source Vraag

Eerdere SkyReels-versies (V1 tot V3) waren volledig open source met downloadbare gewichten op HuggingFace en GitHub. V4 zit momenteel in een beperkte preview met een gratis tier op skyreels.ai, maar de volledige gewichten zijn nog niet vrijgegeven.

Voor de open-source community is dit het waard om nauwlettend te volgen. Als Skywork zijn historische patroon volgt, zouden de V4-gewichten uiteindelijk op HuggingFace moeten landen. Heb je vandaag open-source audio-videogeneratie nodig, dan zijn de dichtstbijzijnde alternatieven SkyReels V3 plus een apart audiomodel.

Waar SkyReels V4 op de Ranglijst Staat

Op de Artificial Analysis Video Arena (die werkt met blinde stemmingen op menselijke voorkeur) staat SkyReels V4 momenteel op een Elo van 1.244 voor text-to-video. Dat plaatst het bijna gelijk met Kling 3.0 (1.243) en achter de huidige koploper, Alibaba's HappyHorse-1.0 (1.347).

Het verschil in visuele kwaliteit tussen SkyReels V4 en HappyHorse is reëel. Maar SkyReels is het enige model in de top 5 dat audio native genereert. Heeft je workflow geluid nodig, dan telt dat architectonische voordeel zwaarder dan een Elo-verschil van 100 punten.

Wat Dit Voor Makers Betekent

Het Grotere Plaatje: Audio Is Niet Langer Optioneel

SkyReels V4 is geen geïsoleerd experiment. We berichtten over ByteDance's Seedance 1.5 Pro dat audiovisuele generatie introduceerde, en over de bredere trend dat AI-video uit het stille tijdperk breekt. Wat SkyReels V4 toevoegt, is het bewijs dat het op architectuurniveau kan, niet als nabewerkingstruc.

De implicatie is duidelijk: tegen eind 2026 voelt elk AI-videomodel zonder native geluid onvolledig. De vraag is niet of dit standaard wordt, maar hoe snel.