SkyReels V4: первая ИИ-модель, которая видит и слышит одновременно

Почему звук всегда был слепым пятном ИИ-видео

Если вы когда-нибудь пробовали добавить звук к ИИ-клипу, вы знаете эту боль. Сгенерировал видео с дождём по стеклу, дальше ищи подходящую звуковую дорожку. Подгоняй по времени. Корректируй. Молись, чтобы это не выглядело жутко неестественно.

Корень проблемы в архитектуре. Модели вроде Kling 3.0 или Runway Gen-4.5 изначально создавались как визуальные движки. Поддержка звука, если она вообще есть, идёт через отдельный конвейер, который пытается синхронизироваться постфактум.

Как на самом деле работает SkyReels V4

Skywork AI (исследовательское подразделение Kunlun Inc.) построила то, что они называют двухпотоковым мультимодальным диффузионным трансформером, или MMDiT. Представьте себе два специализированных мозга, которые делят одну нервную систему.

Обе ветви используют общий текстовый энкодер, построенный поверх мультимодальной большой языковой модели. Именно это общее понимание объясняет, почему промпт вроде "стекло разбивается о мраморный пол в замедленной съёмке" даёт звуковые акценты, попадающие примерно в 40 мс от визуального удара. Этого хватает, чтобы ощущение было естественным.

Чем это отличается от Seedance или Kling

Seedance 2.0 от ByteDance и Kling 3.0 от Kuaishou тоже поддерживают звук, но их подход принципиально иной. Они сначала генерируют видео, затем запускают вторую модель, которая создаёт подходящий звук. При таком последовательном подходе звук всегда реагирует на готовые кадры, никогда не создаётся вместе с ними.

Двухпотоковая архитектура SkyReels V4 означает, что:

• ✓Звуковые и визуальные элементы семантически согласованы с самого начала
• ✓Липсинк говорящих голов попадает на согласные, а не запаздывает
• ✓Звуки окружения соответствуют свойствам материалов (металл, дерево, стекло)
• ✓Не нужна постобработка для исправления расхождения по времени

Разница незаметна, когда смотришь пейзаж, но бросается в глаза, когда видишь говорящего человека или столкновение объекта с поверхностью.

Вопрос об открытом коде

Предыдущие версии SkyReels (с V1 по V3) были полностью открытыми, с весами, доступными для скачивания на HuggingFace и GitHub. V4 пока в ограниченном превью с бесплатным тарифом на skyreels.ai, но полные веса ещё не опубликованы.

Сообществу open-source стоит внимательно следить. Если Skywork сохранит свою историческую практику, веса V4 рано или поздно появятся на HuggingFace. Если генерация звука и видео в открытом коде нужна вам уже сегодня, ближайший вариант это SkyReels V3 плюс отдельная аудиомодель.

Где SkyReels V4 в рейтинге

В Artificial Analysis Video Arena (где используется слепое голосование живых людей) SkyReels V4 сейчас имеет Elo 1244 в категории текст-видео. Это практически вровень с Kling 3.0 (1243) и позади текущего лидера, HappyHorse-1.0 от Alibaba (1347).

Разрыв в визуальном качестве между SkyReels V4 и HappyHorse реален. Но SkyReels единственная модель в топ-5, которая генерирует звук нативно. Если вашему рабочему процессу нужен звук, это архитектурное преимущество важнее разницы в 100 пунктов Elo.

Что это значит для авторов

Картина шире: звук больше не опция

SkyReels V4 не одиночный эксперимент. Мы рассказывали про Seedance 1.5 Pro от ByteDance, который ввёл аудиовизуальную генерацию, и про более широкий тренд выхода ИИ-видео из эпохи немого кино. SkyReels V4 добавляет доказательство, что это можно делать на уровне архитектуры, а не как фокус с постобработкой.

Вывод очевиден: к концу 2026 года любая ИИ-модель для видео без нативного звука будет ощущаться неполноценной. Вопрос не в том, станет ли это стандартом, а в том, как быстро.