Helios: Модэль з 14B параметрамі, якая генеруе відэа ў рэжыме рэальнага часу на споживацкім абсталяванні

Галоўнай перашкодай для генерацыі AI-відэа ў рэальным часе заўсёды былі вылічальныя рэсурсы. Helios, новая модэль з 14 мільёнаў параметраў ад Пекінскага ўніверсітэта, ByteDance і Canva, толькі што разрушыла гэту перашкоду. Яна працуе зь скорасцю 19,5 кадраў у секунду на адным H100, генеруе відэа трываласцю да 60 секунд і патрабуе толькі прыблізна 6 ГБ VRAM з групавой вывантажэннем. І ўсё гэта пад ліцэнзіяй Apache 2.0.

Чаму Helios важная

Большасць AI відэа-мадэляў прымушаюць вас выбіраць: якасць ці скорасць. Вялікія мадэлі на кшталт Veo 3.1 ці Runway Gen-4.5 вырабляюць вражаючыя вынікі, але працуюць у хмарных кластарах і беруць плату за кожную секунду. Меншыя мадэлі падходзяць для споживацких GPU, але вырабляюць прыметна слабейшы вынік. Helios адхіляе гэты выбар.

14B

Параметраў

19,5

FPS на адным H100

~6GB

VRAM з вывантажэннем

60s

Максімальная трывалась відэа

Ключавы момант: Helios гэта аўтарэгрэсіўная дыфузійная модэль, якая генеруе відэа кадр за кадрам у патоковым рэжыме, замест того каб выдаляць шум з усяго відэа адразу. Гэта азначае, што яна можа пачаць выводзіць кадры негайна, гадже яшчэ генеруе рэшту. Ніякага чакання поўнага рэндэрынгу кліпу.

Як гэта працуе

Традыцыйныя дыфузійныя мадэлі абрабляюць ўсё відэа адначасова. Вы надсылаеце промпт, чакаеце некалькі хвілін і атрымліваеце поўны кліп. Helios выкарыстоўвае прынцыпова іншы падыход.

Традыцыйная дыфузія	Helios (Аўтарэгрэсіўная дыфузія)
Абработка ўсіх кадраў адначасова	Генерацыя кадр за кадрам
Высокія требаванні да памяці	Пастаяннае выкарыстанне памяці
Вынік толькі пры поўнай гатовасці	Патоковы вывід у рэальным часе
Якасць дэградуе зь павелічэннем трываласці	Ужгоджаная якасць пры будь-якой трываласці

Модэль выкарыстоўвае механізм двухнакіраванай часовай уваги, якы дазваляе кожнаму новаму кадру спасылацца як на мінулыя, так і на будучыя контексты ў слізгаючым вакне. Гэта запабегае дрэйфу якасці, якы тыпова мучыць аўтарэгрэсіўныя відэа-мадэлі, дзе позныя кадры паступова траляюць узгоджанасць з ранейшымі.

💡

Helios дасягае хвіліннага відэа (да 1,452 кадраў) без опары на KV-cache трукі ці анты-дрэйфавыя хакі. Сама архітэктура падтрымлівае узгоджанасць.

Кут споживацкага абсталявання

Вось дзе пачынаецца практыка. З групавым вывантажэннем, Helios можа працаваць на абсталяванні прыблізна з 6 ГБ VRAM. Гэта ставіць яе прама ў катэгорыю RTX 4060 Ti, карты, якая коштуе прыблізна $400.

Параўнаеце з хмарной генерацыяй:

Метад	Варцасць за хвіліну відэа	Неабходнае абсталяванне
Хмарнае API (Sora, Veo)	$2-8 за генерацыю	Нічога (хмара)
Helios (локальна, H100)	~$0,15 ў электрыцы	H100 ($25,000+)
Helios (локальна, RTX 4060 Ti)	~$0,01 ў электрыцы	RTX 4060 Ti (~$400)

Компраміс зь споживацкімі GPU гэта скорасць. На RTX 4060 Ti вы не дасяжнеце 19,5 FPS. Чакайце блізей да 2-3 FPS, што яшчэ азначае 60-секунднае відэа менш чым за 10 хвілін. Для локальнай, прыватнай, нязмежанай генерацыі гэта прывабліва.

Бэнчмаркі, якія падтрымліваюць претэнзіі

Helios не просто заяўляе аб прадуктыўнасці ў рэальным часе. Яна набірае канкурэнцыйныя балы на стандартных бэнчмарках якасці відэа.

💡

На VBench Helios зьбігаецца ці перавышае мадэлі з падобнай кількасцю параметраў па якасці руху, часовай узгоджанасці і эстэтычнай оцэнцы. Поўныя вынікі бэнчмарка дапаступныя ў статцы (arXiv:2603.04379).

Даследніцкая група, супрацоўніцтва між Пекінскім ўніверсітэтам, ByteDance і Canva, спецыяльна тэставала супраць:

CogVideoX (13B параметраў): Helios зьбігаецца па якасці пры 5-10x хутчэйшай генерацыі
Pyramid Flow (аўтарэгрэсіўная базавая модэль): Helios вырабляе больш часова узгоджаны вынік
Open-Sora v1.2: Helios генеруе больш доўгія, больш звязныя кліпы

Крытычнае параўнанне з мадэлямі ў дыяпазоне 1-2B параметраў, на кшталт LTX-2 і меншых варыянтаў CogVideo. Helios працуе з аналагічнымі скорасцямі, вырабляючы вынікі, якія выглядаюць як з адзначна большай мадэлі.

Што вы можаце дзейсна з гэтым рабіць

Helios гэта не навуковая цікавасць. Гэта практычны інструмент, якы вы можаце ўстаноўць і выкарыстоўваць прама зараз.

✓Генерацыя відэа з тэксту да 60 секунд
✓Анімацыя з зображэння пры дапамозе кадру-спасылкі
✓Патоковы вывід у рэальным часе (пачніце дзівіцца падчас генерацыі)
✓Ліцэнзія Apache 2.0 (камерцыйнае выкарыстанне дазволена)
✓Групавое вывантажэнне для падтрымкі споживацких GPU

Ліцэнзія Apache 2.0 значная. На адрозненне ад многіх адкрытых мадэляў вагаў, якія абмяжоўваюць камерцыйнае выкарыстанне, Helios явна яго дазваляе. Гэта адчыняе дзверы для незалежных развівальнікаў, малых студыяў і стартапаў для пабудовы прадуктаў на аснове мадэлі без ліцэнзійных плацежаў.

Більш шырокая карціна

Helios змяняе, як мы падыходзім да даступнасці AI відэа. Папярэднее паколенне "адкрытых" відэа-мадэляў ці патрабавала карпаратыўнага абсталявання, ці вырабляла вынікі, якія выглядалі прыметна горш іх хмарных аналагаў.

✓Хмарная генерацыя

Не патрабуе інвэстыцый у абсталяванне, найвышэйшая якасць вынікаў, пастаянна абнаўленыя мадэлі

✓Локальная генерацыя (Helios)

Нулявая варцасць за генерацыю, поўная прыватнасць, адсутнасць абмежаванняў на частату, дружная камерцыйна ліцэнзія, магчымасць працы аўтаномна

Для прафесіяналаў, якія генеруюць сотні ітэрацыяў на праект, эканомія зміщаецца значна. GPU за $400 окупаецца прыблізна пасля 200-300 хмарных генерацыяў. Для команд, якія эксперыментуюць з AI відэа ў прадуктах, нязмежаная прырода локальнай генерацыі ўсуває ваганне ў эксперыментаванні.

Мы разглядалі растаўчую эказістэму локальнай генерацыі ў нашым кіраўніцтве па запуску AI відэа локальна, і Helios вьпісваецца прама ў гэты рабочы працэс. Яна таксама спіраецца на прарыў ў генерацыі рэальнага часу, пра якы мы пісалі з TurboDiffusion, развіваючы канцэпцыю далей з адзначна большай мадэллю.

Што будзе далей

Команда Helios ужо намекнула на далейшую працу над генерацыяй з аўдыё-візуальным змістом і магчымасцямі інтэрактыўнага кіравання. Калі прымяняюцца тыя самыя дасягненні ў эфектыўнасці, мы маглі б убачыць генерацыю відэа ў рэальным часе, кіраўную, з аўдыё-змістом на споживацкім абсталяванні да канца 2026.

Зараз Helios дапаступная на GitHub пад ліцэнзіяй Apache 2.0. Калі ў вас ёсць NVIDIA GPU з 6GB+ VRAM і вы хочаце эксперыментаваць з дзейсна канкурэнцыйнай локальнай генерацыяй AI відэа, гэта найсільнейшая пункт уваходу з дапаступных.

💡

Звязанае чытанне: Падзівіцеся, як мадэлі з адкрытым кодам скарачаюць розрыў з закрытымі платформамі, ці даследуйце падыход LTX-2 да генерацыі ў натыўным 4K на споживацких GPU.