Kandinsky 5.0: Ruski odgovor odprte kode na AI generiranje videa

Krajina odprte kode za video se spreminja

Ko je ByteDance objavil odprto kodo svojega modela za razumevanje videa, Tencent pa izdal HunyuanVideo, smo videli prve znake spremembe. Zdaj je Kandinsky Lab, podprt s strani Sberbanka, objavil celotno družino modelov, ki jih lahko vsakdo zažene, modificira in komercializira pod Apache 2.0 licenco.

To ni raziskovalni pregled ali omejen API. Polne uteži, koda za treniranje in inference pipeline so na voljo na GitHubu in Hugging Faceu.

Družina modelov

Kandinsky 5.0 ni en model, ampak družina treh:

Model Image Lite s 6B parametri dopolnjuje družino za generiranje statičnih slik ločljivosti 1280×768 ali 1024×1024.

Tehnična arhitektura

Inženirske odločitve v Kandinsky 5.0 razkrivajo ekipo, osredotočeno na praktično implementacijo namesto na zasledovanje benchmark-ov.

Temelj: Flow Matching namesto difuzije

Tradicionalni difuzijski modeli se učijo obrniti postopek dodajanja šuma korak za korakom. Flow matching uporablja drugačen pristop: uči se neposredne poti od šuma do slike skozi neprekinjeno polje toka. Prednosti so precejšnje:

NABLA: Omogočanje dolgih videov

Prava inovacija je NABLA, kratica za Neighborhood Adaptive Block-Level Attention. Standardna transformer pozornost se skalira kvadratno z dolžino zaporedja. Za video je to katastrofalno. 10-sekundni posnetek pri 24 fps vsebuje 240 sličic, vsaka s tisoči prostorskimi patch-i. Polna pozornost na vse je računsko neizvedljiva.

NABLA to rešuje skozi redke vzorce pozornosti. Namesto, da posveča pozornost vsakemu patch-u v vsaki sličici, osredotoča računanje na:

1. Lokalna prostorska sosedstva znotraj vsake sličice
2. Časovne sosede skozi sosednje sličice
3. Naučena globalna sidra za dolgoročno koherenco

Rezultat je skoraj linearno skaliranje z dolžino videa namesto kvadratnega. To omogoča izvedljivost 10-sekundnega generiranja na potrošniški strojni opremi.

Gradnja na HunyuanVideo

Namesto treniranja vsega od nič, Kandinsky 5.0 prevzema 3D VAE iz projekta HunyuanVideo podjetja Tencent. Ta encoder-decoder upravlja s prevodom med prostorom pikslov in kompaktnim latentnim prostorom, kjer deluje difuzijski proces.

Razumevanje besedila prihaja iz Qwen2.5-VL, vision-language modela, kombiniranega s CLIP embeddingi za semantično utemeljitev. Ta pristop dvojnega encoderja modelu omogoča razumevanje tako dobesednega pomena kot vizualnega sloga, ki ga implicirajo prompti.

Zmogljivost: Kje stoji

Ekipa pozicionira Video Lite kot najboljšega izvajalca med modeli odprte kode v svoji parametrski kategoriji. Benchmark-i kažejo:

Zahteva za 12GB VRAM-a odpira vrata implementaciji na potrošniških RTX 3090 in 4090 karticah, pomemben korak v dostopnosti.

Primerjave kakovosti je težje kvantificirati. Poročila uporabnikov kažejo, da Kandinsky proizvaja bolj dosledno gibanje kot CogVideoX, vendar zaostaja za HunyuanVideo v fotorealizmu. 16-korakov destilirani model žrtvuje nekaj finih podrobnosti za hitrost, kompromis, ki dobro deluje za prototipiranje, vendar morda ne bo zadovoljil potreb končne produkcije.

Lokalno zaganjanje Kandinskyja

Projekt zagotavlja ComfyUI node in samostojne skripte. Osnovni text-to-video potek dela:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # Za 12GB kartice
 
video = model.generate(
    prompt="A mountain lake at dawn, mist rising from still water",
    num_frames=120,  # 5 seconds at 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Raztovarjanje pomnilnika premika uteži modela med CPU in GPU med inferenco. To zamenja hitrost za dostopnost, kar omogoča večjim modelom delovanje na manjših karticah.

Povezava s Sberbankom

Kandinsky Lab deluje pod Sber AI, oddelkom za umetno inteligenco Sberbanka, največje banke v Rusiji. Ta podpora pojasnjuje precejšnje vire za projektom: večstopenjsko treniranje na lastnih podatkih, reinforcement learning post-training in inženirski napor za objavo popolnega production pipeline.

Geopolitični kontekst dodaja kompleksnost. Zahodni razvijalci se lahko soočijo z institucionalnim pritiskom, da se izogibajo modelom ruskega izvora. Apache 2.0 licenca je pravno jasna, vendar organizacijske politike variirajo. Za posamezne razvijalce in manjše studije je računica enostavnejša: dobra tehnologija je dobra tehnologija.

Praktične aplikacije

10-sekundno trajanje in zahteve po potrošniški strojni opremi odpirajo specifične primere uporabe:

Pogled naprej

Kandinsky 5.0 predstavlja širši trend: vrzel med odprtokodnim in zaprtokodnim generiranjem videa se ožuje. Pred enim letom so odprtokodni modeli proizvajali kratke posnetke nizke ločljivosti z očitnimi artefakti. Danes model z 2B parametri na potrošniški strojni opremi generira 10-sekundni HD video, ki bi se zdel nemogoč leta 2023.

Tekma še ni končana. Vodilni zaprtokodni kot Sora 2 in Runway Gen-4.5 še vedno vodijo v kakovosti, trajanju in nadzoru. Vendar dno narašča. Za mnoge aplikacije je odprta koda zdaj dovolj dobra.

Sklep

Kandinsky 5.0 morda ni na vrhu vsakega benchmark-a, vendar uspeva tam, kjer je najpomembneje: zaganjanje resničnega generiranja videa na strojni opremi, ki jo imajo resnični ljudje, pod licenco, ki omogoča resnično komercialno uporabo. V tekmi za demokratizacijo AI videa je ruski tim ravnokar premaknil ciljno črto bliže.

Za razvijalce, ki raziskujejo odprtokodno generiranje videa, si Kandinsky 5.0 zasluži mesto na vašem seznamu.