Kandinsky 5.0: Ruski odgovor otvorenog koda na AI generiranje videa

Krajolik otvorenog koda za video se mijenja

Kada je ByteDance objavio otvoreni kod svog modela za razumijevanje videa, a Tencent izdao HunyuanVideo, vidjeli smo prve znakove promjene. Sada je Kandinsky Lab, podržan od Sberbanka, objavio cijelu obitelj modela koje bilo tko može pokrenuti, modificirati i komercijalizirati pod Apache 2.0 licencom.

Ovo nije istraživački pregled niti ograničeni API. Puni modeli, kod za treniranje i inference pipeline dostupni su na GitHubu i Hugging Faceu.

Obitelj modela

Kandinsky 5.0 nije jedan model, već obitelj od tri:

Model Image Lite s 6B parametara dopunjava obitelj za generiranje statičnih slika rezolucije 1280×768 ili 1024×1024.

Tehnička arhitektura

Inženjerske odluke u Kandinsky 5.0 otkrivaju tim fokusiran na praktičnu implementaciju umjesto na jurenje benchmark-ova.

Temelj: Flow Matching umjesto difuzije

Tradicionalni difuzijski modeli uče obrnuti proces dodavanja šuma korak po korak. Flow matching koristi drugačiji pristup: uči izravan put od šuma do slike kroz kontinuirano polje toka. Prednosti su značajne:

NABLA: Omogućavanje dugih videa

Prava inovacija je NABLA, skraćenica od Neighborhood Adaptive Block-Level Attention. Standardna transformer pažnja skalira se kvadratno s duljinom sekvence. Za video je to katastrofa. 10-sekundni klip pri 24 fps sadrži 240 kadrova, svaki s tisućama prostornih patch-eva. Puna pažnja prema svima je računalno neizvediva.

NABLA to rješava kroz rijetke obrasce pažnje. Umjesto da obraća pažnju na svaki patch u svakom kadru, fokusira računanje na:

1. Lokalna prostorna susjedstva unutar svakog kadra
2. Temporalne susjede kroz susjedne kadrove
3. Naučena globalna sidra za dugoročnu koherentnost

Rezultat je skoro linearno skaliranje s duljinom videa umjesto kvadratnog. To čini generiranje 10 sekundi izvedivim na potrošačkom hardveru.

Gradnja na HunyuanVideo

Umjesto treniranja svega od nule, Kandinsky 5.0 usvaja 3D VAE iz projekta HunyuanVideo tvrtke Tencent. Ovaj encoder-decoder upravlja prijevodom između pikselskog prostora i kompaktnog latentnog prostora gdje radi difuzijski proces.

Razumijevanje teksta dolazi od Qwen2.5-VL, vision-language modela, kombiniranog s CLIP embeddingima za semantičko utemeljenje. Ovaj pristup dvostrukog encodera omogućuje modelu da razumije i doslovno značenje i vizualni stil koji impliciraju promptovi.

Performanse: Gdje stoji

Tim pozicionira Video Lite kao najbolji izvođač među modelima otvorenog koda u svojoj klasi parametara. Benchmark-ovi pokazuju:

Zahtjev za 12GB VRAM-a otvara vrata implementaciji na potrošačkim RTX 3090 i 4090 karticama, značajan korak u dostupnosti.

Usporedbe kvalitete teže je kvantificirati. Izvještaji korisnika sugeriraju da Kandinsky proizvodi dosljedniji pokret od CogVideoX-a, ali zaostaje za HunyuanVideom u fotorealizmu. 16-koraka destilirani model žrtvuje neke fine detalje za brzinu, kompromis koji dobro funkcionira za prototipiranje, ali možda neće zadovoljiti potrebe završne produkcije.

Pokretanje Kandinskyja lokalno

Projekt pruža ComfyUI node-ove i samostalne skripte. Osnovni text-to-video workflow:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # Za 12GB kartice
 
video = model.generate(
    prompt="A mountain lake at dawn, mist rising from still water",
    num_frames=120,  # 5 seconds at 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Istovara memorije premješta težine modela između CPU-a i GPU-a tijekom inferencije. To mijenja brzinu za dostupnost, omogućujući većim modelima rad na manjim karticama.

Veza sa Sberbankom

Kandinsky Lab radi pod Sber AI, odjelom za umjetnu inteligenciju Sberbanka, najveće banke u Rusiji. Ova podrška objašnjava znatne resurse iza projekta: višestupanjsko treniranje na vlastitim podacima, reinforcement learning post-training i inženjerski napor da se objavi potpuni production pipeline.

Geopolitički kontekst dodaje složenost. Zapadni developeri mogu se suočiti s institucijskim pritiskom da izbjegavaju modele ruskog podrijetla. Apache 2.0 licenca je pravno jasna, ali organizacijske politike variraju. Za pojedinačne developere i manje studije, račun je jednostavniji: dobra tehnologija je dobra tehnologija.

Praktične primjene

10-sekundno trajanje i zahtjevi za potrošačkim hardverom otvaraju specifične slučajeve upotrebe:

Pogled naprijed

Kandinsky 5.0 predstavlja širi trend: jaz između otvorenog i zatvorenog koda za generiranje videa se sužava. Prije godinu dana, modeli otvorenog koda proizvodili su kratke klipove niske rezolucije s očitim artefaktima. Danas model od 2B parametara na potrošačkom hardveru generira 10-sekundni HD video koji bi se činio nemogućim 2023.

Utrka nije gotova. Lideri zatvorenog koda poput Sora 2 i Runway Gen-4.5 još uvijek vode u kvaliteti, trajanju i kontroli. Ali dno raste. Za mnoge aplikacije, otvoreni kod je sada dovoljno dobar.

Zaključak

Kandinsky 5.0 možda nije na vrhu svakog benchmark-a, ali uspijeva gdje je najvažnije: pokretanje stvarnog generiranja videa na hardveru koji stvarni ljudi posjeduju, pod licencom koja omogućava stvarnu komercijalnu upotrebu. U utrci za demokratizaciju AI videa, ruski tim je upravo pomaknuo ciljnu liniju bliže.

Za developere koji istražuju generiranje videa otvorenog koda, Kandinsky 5.0 zaslužuje mjesto na vašoj listi.