Kandinsky 5.0: Ruski odgovor otvorenog koda na AI generisanje videa

Krajolik otvorenog koda za video se menja

Kada je ByteDance objavio otvoreni kod svog modela za razumevanje videa, a Tencent izdao HunyuanVideo, videli smo prve znake promene. Sada je Kandinsky Lab, podržan od Sberbanka, objavio celu porodicu modela koje bilo ko može pokrenuti, modifikovati i komercijalizovati pod Apache 2.0 licencom.

Ovo nije istraživački pregled niti ograničeni API. Puni modeli, kod za treniranje i inference pipeline dostupni su na GitHub-u i Hugging Face-u.

Porodica modela

Kandinsky 5.0 nije jedan model, već porodica od tri:

Model Image Lite sa 6B parametara dopunjava porodicu za generisanje statičnih slika rezolucije 1280×768 ili 1024×1024.

Tehnička arhitektura

Inženjerske odluke u Kandinsky 5.0 otkrivaju tim fokusiran na praktičnu implementaciju umesto na jurenje benchmark-ova.

Temelj: Flow Matching umesto difuzije

Tradicionalni difuzioni modeli uče da obrnu proces dodavanja šuma korak po korak. Flow matching koristi drugačiji pristup: uči direktan put od šuma do slike kroz kontinuirano polje toka. Prednosti su značajne:

NABLA: Omogućavanje dugih videa

Prava inovacija je NABLA, skraćenica od Neighborhood Adaptive Block-Level Attention. Standardna transformer pažnja skalira se kvadratno sa dužinom sekvence. Za video je to katastrofa. 10-sekundni klip pri 24 fps sadrži 240 kadrova, svaki sa hiljadama prostornih patch-eva. Puna pažnja prema svima je računarski neizvodljiva.

NABLA to rešava kroz retke obrasce pažnje. Umesto da obraća pažnju na svaki patch u svakom kadru, fokusira računanje na:

1. Lokalna prostorna susedstva unutar svakog kadra
2. Temporalne susede kroz susedne kadrove
3. Naučena globalna sidra za dugoročnu koherentnost

Rezultat je skoro linearno skaliranje sa dužinom videa umesto kvadratnog. To čini generisanje 10 sekundi izvodljivim na potrošačkom hardveru.

Gradnja na HunyuanVideo

Umesto treniranja svega od nule, Kandinsky 5.0 usvaja 3D VAE iz projekta HunyuanVideo kompanije Tencent. Ovaj encoder-decoder upravlja prevodom između pikselskog prostora i kompaktnog latentnog prostora gde radi difuzioni proces.

Razumevanje teksta dolazi od Qwen2.5-VL, vision-language modela, kombinovanog sa CLIP embedding-ima za semantičko utemeljenje. Ovaj pristup dvostrukog encoder-a omogućava modelu da razume i doslovno značenje i vizuelni stil koji impliciraju promptovi.

Performanse: Gde stoji

Tim pozicionira Video Lite kao najboljeg izvođača među modelima otvorenog koda u svojoj klasi parametara. Benchmark-ovi pokazuju:

Zahtev za 12GB VRAM-a otvara vrata implementaciji na potrošačkim RTX 3090 i 4090 karticama, značajan korak u dostupnosti.

Poređenja kvaliteta teže je kvantifikovati. Izveštaji korisnika sugerišu da Kandinsky proizvodi doslednije pokrete od CogVideoX-a, ali zaostaje za HunyuanVideo-m u fotorealizmu. 16-koraka destilovani model žrtvuje neke fine detalje za brzinu, kompromis koji dobro funkcioniše za prototipiranje, ali možda neće zadovoljiti potrebe finalne produkcije.

Pokretanje Kandinsky-ja lokalno

Projekat pruža ComfyUI node-ove i samostalne skripte. Osnovni text-to-video workflow:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # Za 12GB kartice
 
video = model.generate(
    prompt="A mountain lake at dawn, mist rising from still water",
    num_frames=120,  # 5 seconds at 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Istovar memorije premeštа težine modela između CPU-a i GPU-a tokom inferencije. To menja brzinu za dostupnost, omogućavajući većim modelima rad na manjim karticama.

Veza sa Sberbank-om

Kandinsky Lab radi pod Sber AI, odeljenja za veštačku inteligenciju Sberbank-a, najveće banke u Rusiji. Ova podrška objašnjava znatne resurse iza projekta: višestepeno treniranje na vlastitim podacima, reinforcement learning post-training i inženjerski napor da se objavi potpuni production pipeline.

Geopolitički kontekst dodaje složenost. Zapadni developeri mogu se suočiti sa institucijskim pritiskom da izbegavaju modele ruskog porekla. Apache 2.0 licenca je pravno jasna, ali organizacione politike variraju. Za pojedinačne developere i manje studije, račun je jednostavniji: dobra tehnologija je dobra tehnologija.

Praktične primene

10-sekundo trajanje i zahtevi za potrošačkim hardverom otvaraju specifične slučajeve upotrebe:

Pogled napred

Kandinsky 5.0 predstavlja širi trend: jaz između otvorenog i zatvorenog koda za generisanje videa se sužava. Pre godinu dana, modeli otvorenog koda proizvodili su kratke klipove niske rezolucije sa očitim artefaktima. Danas model od 2B parametara na potrošačkom hardveru generiše 10-sekundi HD video koji bi se činio nemogućim 2023.

Utrka nije gotova. Lideri zatvorenog koda poput Sora 2 i Runway Gen-4.5 još uvek vode u kvalitetu, trajanju i kontroli. Ali dno raste. Za mnoge aplikacije, otvoreni kod je sada dovoljno dobar.

Zaključak

Kandinsky 5.0 možda nije na vrhu svakog benchmark-a, ali uspeva tamo gde je najvažnije: pokretanje stvarnog generisanja videa na hardveru koji stvarni ljudi poseduju, pod licencom koja omogućava stvarnu komercijalnu upotrebu. U utrci za demokratizaciju AI videa, ruski tim je upravo pomerio ciljnu liniju bliže.

Za developere koji istražuju generisanje videa otvorenog koda, Kandinsky 5.0 zaslužuje mesto na vašoj listi.