Kandinsky 5.0: Ruská odpověď v oblasti otevřené generace videa pomocí AI

Posun v krajině open-source videa

Když ByteDance zveřejnil zdrojový kód svého modelu pro porozumění videu a Tencent vydal HunyuanVideo, viděli jsme první známky změn. Nyní Kandinsky Lab, podporovaný Sberbankem, vydal kompletní rodinu modelů, které kdokoli může spouštět, upravovat a komercializovat pod licencí Apache 2.0.

Toto není výzkumný náhled ani omezené API. Kompletní váhy, trénovací kód a inferenční pipeline jsou dostupné na GitHub a Hugging Face.

Rodina modelů

Kandinsky 5.0 není jediný model, ale rodina tří:

Model Image Lite s 6 mld parametry uzavírá rodinu pro generaci statických obrázků v rozlišení 1280×768 nebo 1024×1024.

Technická architektura

Inženýrská rozhodnutí v Kandinsky 5.0 odhalují tým zaměřený na praktické nasazení, nikoli na honbu za benchmarky.

Základ: Flow Matching místo difuze

Tradiční difuzní modely se učí krok za krokem obrátit proces přidávání šumu. Flow matching používá jiný přístup: učí se přímou cestu od šumu k obrazu skrze souvislé pole toku. Výhody jsou významné:

NABLA: činíme dlouhá videa možnými

Skutečná inovace je NABLA (Neighborhood Adaptive Block-Level Attention). Standardní pozornost transformátoru se škáluje kvadraticky s délkou sekvence. Pro video je to katastrofální. 10-sekundový klip při 24 fps obsahuje 240 snímků, každý s tisíci prostorových záplat. Plná pozornost na všechny z nich je výpočetně neproveditelná.

NABLA to řeší pomocí vzorů řídké pozornosti. Místo věnování pozornosti každé záplatě v každém snímku zaměřuje výpočty na:

1. Lokální prostorová okolí v každém snímku
2. Časové sousedy napříč sousedními snímky
3. Naučené globální kotvy pro koherenci dlouhého dosahu

Výsledek je téměř lineární škálování s délkou videa místo kvadratického. To je to, co činí 10-sekundovou generaci proveditelnou na spotřebitelském hardwaru.

Stavba na HunyuanVideo

Místo tréninku všeho od nuly Kandinsky 5.0 přijímá 3D VAE z projektu HunyuanVideo od Tencent. Tento enkodér-dekodér zpracovává překlad mezi pixelovým prostorem a kompaktním latentním prostorem, kde funguje difuzní proces.

Porozumění textu pochází z Qwen2.5-VL, modelu vision-language, v kombinaci s CLIP embeddingy pro sémantické ukotvení. Tento přístup se dvěma enkodéry umožňuje modelu rozumět jak doslovnému významu, tak vizuálnímu stylu naznačenému prompty.

Výkon: kde se nachází

Tým pozicionuje Video Lite jako nejlepší mezi open-source modely ve své třídě parametrů. Benchmarky ukazují:

Požadavek 12 GB VRAM otevírá dveře k nasazení na spotřebitelských kartách RTX 3090 a 4090, významný milník v dostupnosti.

Srovnání kvality je těžší kvantifikovat. Zprávy uživatelů naznačují, že Kandinsky vytváří konzistentnější pohyb než CogVideoX, ale zaostává za HunyuanVideo ve fotorealismu. 16-krokový destilovaný model obětuje některé jemné detaily pro rychlost, kompromis, který funguje dobře pro prototypování, ale nemusí uspokojit potřeby finální produkce.

Spuštění Kandinsky lokálně

Projekt poskytuje uzly ComfyUI a samostatné skripty. Základní workflow text-to-video:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # Pro karty 12 GB
 
video = model.generate(
    prompt="Horské jezero za úsvitu, mlha stoupá nad klidnou vodou",
    num_frames=120,  # 5 sekund při 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Vyložení paměti přesouvá váhy modelu mezi CPU a GPU během inference. To vyměňuje rychlost za dostupnost, umožňujíc větším modelům běžet na menších kartách.

Spojení se Sberbankem

Kandinsky Lab pracuje pod Sber AI, divizí umělé inteligence Sberbanku, největší banky Ruska. Tato podpora vysvětluje významné zdroje stojící za projektem: vícestupňový trénink na proprietárních datech, post-trénink s posilovaným učením a inženýrské úsilí k otevření kompletní produkční pipeline.

Geopolitický kontext přidává složitost. Západní vývojáři mohou čelit institucionálnímu tlaku, aby se vyhnuli modelům ruského původu. Licence Apache 2.0 je právně jasná, ale organizační politiky se liší. Pro jednotlivé vývojáře a menší studia je kalkulace jednodušší: dobrá technologie je dobrá technologie.

Praktické aplikace

10sekundová délka a požadavky na spotřebitelský hardware otevírají konkrétní případy použití:

Pohled vpřed

Kandinsky 5.0 představuje širší trend: propast mezi open a closed-source generací videa se zmenšuje. Před rokem otevřené modely vytvářely krátké klipy nízkého rozlišení s očividnými artefakty. Dnes model s 2 mld parametry na spotřebitelském hardwaru generuje 10-sekundové HD video, které by se zdálo nemožné v roce 2023.

Závod není u konce. Uzavření lídři, jako Sora 2 a Runway Gen-4.5, stále vedou v kvalitě, délce a ovladatelnosti. Ale spodní hranice roste. Pro mnoho aplikací je open-source nyní dostatečně dobrý.

Závěr

Kandinsky 5.0 nemusí vézt všechny benchmarky, ale uspěje tam, kde na tom nejvíce záleží: spouštění skutečné generace videa na hardwaru, který vlastní skuteční lidé, pod licencí, která umožňuje skutečné komerční použití. V závodě o demokratizaci AI videa ruský tým právě posunul cílovou čáru blíže.

Pro vývojáře zkoumající open-source generaci videa si Kandinsky 5.0 zaslouží místo na vašem seznamu.