Helios: 14B Modeļa, kas izejaš reāllaika AI Video patērētāja aparātūrā

Lielākais šķērslis reāllaika AI video ģenerēšanai vienmēr ir bijis skaitļošanas jaudas deficīts. Helios, jauns 14 miljārdu parametru modelis no Pekinas Universitātes, ByteDance un Canva, vienkārši pārvēla šo šķērsli. Tas darbojas ar 19.5 kadru sekundē uz viena H100, ģenerē video līdz 60 sekundēm, un nepieciešams tikai aptuveni 6GB VRAM ar grupu atslogošanu. Bez tam, tas ir Apache 2.0 licencēts.

Kāpēc Helios ir svarīgs

Lielākā daļa AI video modeļu liek izvēlēties: kvalitāte vai ātrums. Lielie modeļi, piemēram, Veo 3.1 vai Runway Gen-4.5, rada izsmalcinātus rezultātus, bet tie darbojas mākoņa klasteros un ņem maksu par sekundi. Mazāki modeļi iederas patērētāja GPU, bet rada pamanāmi vājāku produkciju. Helios noraidīja šo izvēli.

14B

Parametri

19.5

FPS vienā H100

~6GB

VRAM ar atslogošanu

60s

Maksimālais video garums

Atslēgas ieskats: Helios ir autoregresīvs difūzijas modelis, kas ģenerē video kadrs par kadru straumēšanas veidā, nevis iztīra visu video vienlaikus. Tas nozīmē, ka tas var sākt izejas kadrus tūlīt, vienlaikus joprojām ģenerējot pārējo. Nav jāgaida, līdz pilns klips atveidojas.

Kā tas darbojas

Tradicionālie difūzijas modeļi apstrādā visu video vienlaikus. Jūs iesniegzat uzvedni, gaidāt minūtes un saņemat pilnu klipu. Helios izmanto fundamentāli atšķirīgu pieeju.

Tradicionālā difūzija	Helios (Autoregresīvā difūzija)
Apstrādā visus kadrus vienlaikus	Ģenerē kadrs par kadru
Augsts VRAM prasības	Nemainīga VRAM izmantošana
Izeja tikai pēc tam, kad pilnīgi pabeigta	Straumē izeju reālajā laikā
Kvalitāte sāk mazināties ar garumu	Konsekventa kvalitāte jebkurā garumā

Modelis izmanto divvirzienu laika uzmanības mehānismu, kas ļauj katram jaunam kadram atsaukties uz pagājušu un nākotnes kontekstu bīdāmajā logā. Tas novērš kvalitātes drift, kas parasti piemeklē autoregresīvus video modeļus, kur vēlākie kadri pakāpeniski zaudē saskaņu ar agrākajiem.

💡

Helios sasniedz minūtes garumā esošu video (līdz 1.452 kadriem) bez paļaušanās uz KV-cache trikus vai anti-drift hieglus. Pati arhitektūra uztur saskaņu.

Patērētāja aparātūras aspekts

Šeit lietas kļūst praktiskas. Ar grupu atslogošanu, Helios var darboties uz aparātūras ar aptuveni 6GB VRAM. Tas to ieskaita tieši RTX 4060 Ti teritorijā, karti, kas maksā ap $400.

Salīdzinot ar mākoņa ģenerēšanu:

Metode	Izmaksas par minūti video	Nepieciešamā aparātūra
Cloud API (Sora, Veo)	$2-8 par ģenerēšanu	Neviena (mākoņi)
Helios (lokāli, H100)	~$0.15 elektroenerģijā	H100 ($25,000+)
Helios (lokāli, RTX 4060 Ti)	~$0.01 elektroenerģijā	RTX 4060 Ti (~$400)

Kompromiss ar patērētāja GPU ir ātrums. Uz RTX 4060 Ti, jūs nesasniegsit 19.5 FPS. Gaidiet tuvāk 2-3 FPS, kas joprojām nozīmē 60 sekunžu video mazāk par 10 minūtēm. Lokālai, privātai, neierobežotai ģenerēšanai tas ir pārliecinoši.

Meritorāŗie testi, kas apstiprina pretenzijas

Helios ne tikai apgalvo reāllaika veiktspēju. Tas vērtējā konkurences dīkstāvi standarta video kvalitātes testos.

💡

Uz VBench, Helios atbilst vai pārsniedz modeļus ar līdzīgu parametru skaitu pāri kustības kvalitātei, laika saskaņai un estētiskai vērtēšanai. Pilnīgi referāta rezultāti ir pieejami dokumentā (arXiv:2603.04379).

Pētniecības komanda, sadarbība starp Pekinas Universitāti, ByteDance un Canva, specifski testēja:

CogVideoX (13B parametri): Helios atbilst kvalitātei ar 5-10x ātrāku ģenerēšanu
Pyramid Flow (autoregresīvā bāzlīnija): Helios rada vairāk laika sinhronizētu izeju
Open-Sora v1.2: Helios ģenerē garākus, vairāk koherencus klipus

Kritiskais salīdzinājums ir ar modeļiem 1-2B parametru diapazonā, piemēram, LTX-2 un mazāki CogVideo varianti. Helios darbojas ar līdzīgu ātrumu, vienlaikus ģenerējot izeju, kas izskatās, ka nāk no daudz lielāka modeļa.

Ko jūs tiešām varat darīt ar to

Helios nav pētniecības kuriozitāte. Tas ir praktiski rīks, ko jūs varat instalēt un palaist šodien.

✓Teksta uz video ģenerēšana līdz 60 sekundēm
✓Attēla uz video animācija no atsauces kadra
✓Reāllaika straumēšanas izeја (sākt skatīties, kamēr ģenerējat)
✓Apache 2.0 licence (komerciāla izmantošana atļauta)
✓Grupu atslogošana patērētāja GPU atbalstam

Apache 2.0 licence ir nozīmīga. Atšķirībā no daudziem atvērta svara modeļiem, kas ierobežo komerciālu izmantošanu, Helios to skaidri atļauj. Tas atvēr durvis neatkarīgiem izstrādātājiem, maziem studijem un startapiem, lai uz modeļa pamatnes veidotu produktus bez licencēšanas maksas.

Lielāka bilde

Helios maina, kā mēs pieejam AI video pieejamībai. Iepriekšējā paaudze "atvērtiem" video modeļiem bija nepieciešams vai uzņēmuma aparatūra vai ražoja rezultātus, kas bija pamanāmi sliktāki par to mākoņa pandiem.

✓Mākoņa ģenerēšana

Nepieciešama aparātūras investīcija, visaugstākā kvalitātes produkcija, pastāvīgi atjauninātie modeļi

✓Lokālā ģenerēšana (Helios)

Nulle ģenerēšanas izmaksas, pilna privātums, bez likmes limitiem, komerciāli draudzīga licence, iespējams darboties bez interneta

Profesionāļiem, kuri ģenerē simtiem iterāciju katram projektam, ekonomika ievērojami mainās. $400 GPU atmaksājas pēc aptuveni 200-300 mākoņa ģenerējumiem. Komandam, kas eksperimentē ar AI video produktos, neierobežota lokālās ģenerēšanas apjoma dabiskums novērš neskaidrību eksperimentēšanā.

Mēs aprakstījām augošo lokālās ģenerēšanas ekosistēmu mūsu vadībā par AI video palaišanu lokāli, un Helios tieši iekļaujas šajā darbplūsmā. Tas arī veidojas uz reāllaika ģenerēšanas izrāviena, kas tika rakstīts par TurboDiffusion, paņemot konceptu tālāk ar daudz lielāku modeļi.

Kas nāk tālāk

Helios komanda jau ir norādījusi uz nākotnes darbu audio-vizuālo ģenerēšanā un interaktīvās vadības spējās. Ja spēkā būtu vienādi efektivitātes ieguvumi, mēs varētu redzēt reāllaika, kontrolējamu, audio-iekļautu video ģenerēšanu patērētāja aparātūrā līdz 2026. gada beigām.

Šobrīd Helios ir pieejams GitHub, kas licencēts ar Apache 2.0. Ja jums ir NVIDIA GPU ar 6GB+ VRAM un vēlaties eksperimentēt ar patiesi konkurences spējīgu lokālo AI video ģenerēšanu, tas ir spēcīgākais ieejas punkts, kas pieejams.

💡

Saistīts lasījums: Skatiet, kā atvērtā koda modeļi slēdz plaisu ar patentētu platformām, vai izpētiet LTX-2 pieeju iedzimtajā 4K ģenerēšanai patērētāja GPU.