SkyReels V4: першая ШІ-мадэль, якая адначасова бачыць і чуе

Чаму гук заўсёды быў сляпой плямай ШІ-відэа

Калі вы калі-небудзь спрабавалі дадаць гук да згенераванага ШІ кліпа, вы ведаеце гэты боль. Згенеруйце відэа дажджу па шкле, потым палюйце за прыдатнай гукавой дарожкай. Падганяйце па часе. Карэктуйце. Маліцеся, каб не выйшла моташна ненатуральна.

Корань праблемы архітэктурны. Мадэлі тыпу Kling 3.0 ці Runway Gen-4.5 будаваліся перш за ўсё як візуальныя рухавікі. Падтрымка гуку, калі яна наогул ёсць, праходзіць праз асобны канвеер, які спрабуе сінхранізавацца постфактум.

Як насамрэч працуе SkyReels V4

Skywork AI (даследчае падраздзяленне Kunlun Inc.) пабудаваў тое, што называе двухструменевым мультымадальным дыфузійным трансфарматарам, або MMDiT. Уявіце сабе два спецыялізаваныя мазгі, якія дзеляць адну нервовую сістэму.

Абедзве галіны выкарыстоўваюць агульны тэкставы энкодэр, пабудаваны па-над мультымадальнай вялікай моўнай мадэллю. Менавіта гэта агульнае разуменне тлумачыць, чаму промпт тыпу "шкло разбіваецца аб мармуровую падлогу ў запаволенай здымцы" дае гукавыя акцэнты, што пападаюць прыкладна ў 40 мс ад візуальнага ўдару. Гэтага хапае, каб адчуванне было натуральным.

Чым гэта адрозніваецца ад Seedance ці Kling

Seedance 2.0 ад ByteDance і Kling 3.0 ад Kuaishou таксама падтрымліваюць гук, але іх падыход прынцыпова іншы. Яны спачатку генеруюць відэа, потым запускаюць другую мадэль, якая стварае адпаведны гук. Пры такім паслядоўным падыходзе гук заўсёды рэагуе на гатовыя кадры, ніколі не ствараецца разам з імі.

Двухструменевая архітэктура SkyReels V4 азначае, што:

• ✓Гукавыя і візуальныя элементы семантычна ўзгоднены з самага пачатку
• ✓Ліп-сінк у тых, хто гаворыць, пападае на зычныя, а не спазняецца
• ✓Гукі асяроддзя адпавядаюць уласцівасцям матэрыялаў (метал, дрэва, шкло)
• ✓Не патрабуецца постапрацоўка для выпраўлення разыходжанняў у часе

Розніца непрыкметная, калі глядзіш краявід, але кідаецца ў вочы, калі бачыш чалавека, які гаворыць, або аб'ект у кантакце з паверхняй.

Пытанне адкрытага кода

Папярэднія версіі SkyReels (з V1 па V3) былі цалкам адкрытыя, з вагамі, даступнымі для спампоўкі на HuggingFace і GitHub. V4 пакуль у абмежаваным preview з бясплатным тарыфам на skyreels.ai, але поўныя вагі яшчэ не апублікаваны.

Супольнасці open-source варта пільна сачыць. Калі Skywork захавае сваю гістарычную практыку, вагі V4 рана ці позна з'явяцца на HuggingFace. Калі генерацыя гуку і відэа ў адкрытым кодзе патрэбна вам ужо сёння, найбліжэйшы варыянт гэта SkyReels V3 плюс асобная аўдыёмадэль.

Дзе SkyReels V4 у рэйтынгу

У Artificial Analysis Video Arena (дзе выкарыстоўваецца сляпое галасаванне жывых людзей) SkyReels V4 зараз мае Elo 1244 у катэгорыі тэкст-відэа. Гэта амаль роўна з Kling 3.0 (1243) і ззаду бягучага лідара, HappyHorse-1.0 ад Alibaba (1347).

Разрыў у візуальнай якасці паміж SkyReels V4 і HappyHorse рэальны. Але SkyReels адзіная мадэль у топ-5, што генеруе гук нацыўна. Калі вашаму працоўнаму працэсу патрэбны гук, гэтая архітэктурная перавага важнейшая за розніцу ў 100 пунктаў Elo.

Што гэта значыць для аўтараў

Шырэйшая карціна: гук больш не опцыя

SkyReels V4 не адзінкавы эксперымент. Мы расказвалі пра Seedance 1.5 Pro ад ByteDance, які ўвёў аўдыёвізуальную генерацыю, і пра больш шырокі трэнд выхаду ШІ-відэа з эпохі нямога кіно. SkyReels V4 дадае доказ, што гэта можна рабіць на ўзроўні архітэктуры, а не як трук постапрацоўкі.

Выснова відавочная: да канца 2026 года любая ШІ-мадэль для відэа без нацыўнага гуку будзе адчувацца няпоўнай. Пытанне не ў тым, ці стане гэта стандартам, а ў тым, як хутка.