SkyReels V4: Првиот AI Модел Што Истовремено Гледа и Слуша

Зошто Звукот Отсекогаш Беше Слепата Точка на AI Видеото

Ако некогаш сте се обиделе да додадете звук на клип генериран од AI, ја знаете болката. Генерирате видео од дожд што удира на прозорец, потоа ловите соодветна звучна подлога. Го темпирате. Го прилагодувате. Се молите да не звучи неприродно.

Главниот проблем е архитектонски. Модели како Kling 3.0 или Runway Gen-4.5 беа изградени првенствено како визуелни мотори. Поддршката за звук, кога постои, минува низ одделен цевковод што се обидува да синхронизира по фактот.

Како SkyReels V4 Всушност Работи

Skywork AI (истражувачко одделение на Kunlun Inc.) изгради нешто што го нарекуваат двопоточен Мултимодален Дифузиски Трансформер, или MMDiT. Замислете го како два специјализирани мозоци што споделуваат еден нервен систем.

Двата огранока споделуваат текстуален енкодер изграден врз Мултимодален Голем Јазичен Модел. Тоа заедничко разбирање е причината зошто промпт како "стакло што се крши на мермерен под во забавено снимање" произведува звучни акценти што паѓаат во рамките на околу 40 ms од визуелниот удар. Тоа е доволно стегнато за да изгледа природно.

По Што се Разликува од Seedance или Kling

Seedance 2.0 на ByteDance и Kling 3.0 на Kuaishou двата поддржуваат звук, но нивниот пристап е суштински поинаков. Прво генерираат видео, а потоа стартуваат втор модел за да произведат соодветен звук. Тој секвенцијален пристап значи дека звукот секогаш реагира на завршени кадри, никогаш не се создава заедно со нив.

Двопоточната архитектура на SkyReels V4 значи:

• ✓Аудио и визуелните елементи се семантички усогласени од самиот почеток
• ✓Синхронизацијата на усните кај говорници паѓа на согласките, а не по нив
• ✓Звуците на околината одговараат на својствата на материјалите (метал наспроти дрво наспроти стакло)
• ✓Не е потребна последователна обработка за корекција на временско отстапување

Разликата е суптилна кога гледате пејзаж, но драматична кога гледате личност како зборува или предмет што дејствува врз површина.

Прашањето за Отворен Код

Претходните верзии на SkyReels (V1 до V3) беа целосно со отворен код со тежини за преземање на HuggingFace и GitHub. V4 моментално е во ограничен преглед со бесплатно ниво на skyreels.ai, но целосните тежини сè уште не се објавени.

За заедницата на отворен код, ова треба внимателно да се следи. Ако Skywork го следат својот историски шаблон, тежините на V4 на крајот треба да слетаат на HuggingFace. Ако ви треба аудио-видео генерирање со отворен код денес, најблиските алтернативи се SkyReels V3 плус одделен аудио модел.

Каде се Наоѓа SkyReels V4 на Ранг-Листата

На Artificial Analysis Video Arena (која користи слепо гласање по човечки преференции), SkyReels V4 моментално е рангиран со Elo од 1.244 за text-to-video. Тоа го става во речиси изедначена позиција со Kling 3.0 (1.243) и зад тековниот лидер, HappyHorse-1.0 на Alibaba (1.347).

Разликата во визуелниот квалитет меѓу SkyReels V4 и HappyHorse е реална. Но SkyReels е единствениот модел во топ 5 што нативно генерира звук. Ако вашиот работен тек бара звук, таа архитектонска предност е поважна од разлика од 100 Elo бода.

Што Значи Ова за Креаторите

Поширока Слика: Звукот Веќе Не е По Избор

SkyReels V4 не е изолиран експеримент. Пишувавме за Seedance 1.5 Pro на ByteDance кој воведува аудио-визуелно генерирање, и за поширокиот тренд AI видеото да излегува од немата ера. Тоа што SkyReels V4 го додава е доказ дека можете да го направите ова на ниво на архитектура, а не како трик на последователна обработка.

Импликацијата е јасна: до крајот на 2026 година, секој AI видео модел без нативен звук ќе изгледа нецелосен. Прашањето не е дали ова ќе стане стандард, туку колку брзо.