Kandinsky 5.0: Oroszország nyílt forráskódú válasza az AI videógenerálásra

A nyílt forráskódú videó táj változása

Amikor a ByteDance nyílt forráskódúvá tette videómegértő modelljét, és a Tencent kiadta a HunyuanVideo-t, megláttuk a változás első jeleit. Most a Kandinsky Lab, a Sberbank támogatásával, kiadott egy teljes modellcsaládot, amelyet bárki futtathat, módosíthat és kereskedelmi célra használhat Apache 2.0 licenc alatt.

Ez nem egy kutatási előnézet vagy korlátozott API. A teljes súlyok, a tanítási kód és az inferencia pipeline elérhető a GitHubon és a Hugging Face-en.

A modellcsalád

A Kandinsky 5.0 nem egyetlen modell, hanem három modell családja:

Egy 6B paraméteres Image Lite modell egészíti ki a családot álló képek generálásához 1280×768 vagy 1024×1024 felbontásban.

Technikai architektúra

A Kandinsky 5.0 mérnöki döntései olyan csapatot mutatnak, amely a gyakorlati telepítésre összpontosít, nem a benchmark-hajszolásra.

Alapok: Flow Matching diffúzió helyett

A hagyományos diffúziós modellek lépésről lépésre tanulják meg visszafordítani a zajhozzáadási folyamatot. A flow matching más megközelítést alkalmaz: közvetlen utat tanul a zajtól a képig egy folyamatos áramlási mezőn keresztül. Az előnyök jelentősek:

NABLA: Hosszú videók lehetővé tétele

Az igazi innováció a NABLA, a Neighborhood Adaptive Block-Level Attention rövidítése. A standard transzformer-figyelem kvadratikusan skálázódik a szekvencia hosszával. Videó esetén ez katasztrofális. Egy 10 másodperces klip 24 fps-sel 240 képkockát tartalmaz, mindegyik több ezer térbeli folttal. A teljes figyelem minden egyen keresztül számításilag lehetetlen.

A NABLA ezt ritka figyelmi mintákkal kezeli. Ahelyett, hogy minden foltra minden képkockában figyelne, a számítást ezekre összpontosítja:

1. Helyi térbeli szomszédságok minden képkockán belül
2. Időbeli szomszédok a szomszédos képkockák között
3. Tanult globális horgonyok hosszú távú koherenciához

Az eredmény közel lineáris skálázódás a videó hosszával a kvadratikus helyett. Ez teszi a 10 másodperces generálást megvalósíthatóvá fogyasztói hardveren.

Építkezés a HunyuanVideo alapján

Ahelyett, hogy mindent a semmiből tanítana, a Kandinsky 5.0 átveszi a 3D VAE-t a Tencent HunyuanVideo projektjéből. Ez az enkóder-dekóder kezeli a fordítást a pixeltér és a kompakt látens tér között, ahol a diffúziós folyamat működik.

A szövegértés a Qwen2.5-VL vízió-nyelv modellből származik, CLIP beágyazásokkal kombinálva a szemantikus alapozáshoz. Ez a kettős-enkóder megközelítés lehetővé teszi a modell számára, hogy megértse mind a szó szerinti jelentést, mind a promptok által sugallt vizuális stílust.

Teljesítmény: Hol áll

A csapat a Video Lite-ot a nyílt forráskódú modellek legjobb teljesítményűjeként pozicionálja a paraméterosztályában. A benchmarkok mutatják:

A 12GB VRAM követelmény megnyitja az utat a fogyasztói RTX 3090 és 4090 kártyákon való telepítéshez, jelentős hozzáférhetőségi mérföldkő.

A minőségi összehasonlítások nehezebben számszerűsíthetők. A felhasználói beszámolók szerint a Kandinsky konzisztensebb mozgást produkál, mint a CogVideoX, de elmarad a HunyuanVideo fotorealizmusa mögött. A 16-lépéses desztillált modell feláldoz néhány finom részletet a sebesség érdekében, kompromisszum, amely jól működik prototípusokhoz, de lehet, hogy nem elégíti ki a végső produkciós igényeket.

A Kandinsky helyi futtatása

A projekt ComfyUI csomópontokat és önálló szkripteket biztosít. Egy alapvető szövegből-videó munkafolyamat:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # 12GB kártyákhoz
 
video = model.generate(
    prompt="Hegyi tó hajnalban, köd emelkedik a nyugodt vízből",
    num_frames=120,  # 5 másodperc 24fps-sel
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

A memória kitelepítés a modell súlyokat a CPU és GPU között mozgatja az inferencia során. Ez sebességet cserél hozzáférhetőségre, lehetővé téve nagyobb modellek futtatását kisebb kártyákon.

A Sberbank kapcsolat

A Kandinsky Lab a Sber AI alatt működik, az Oroszország legnagyobb bankja, a Sberbank mesterséges intelligencia részlege. Ez a támogatás magyarázza a projekt mögött álló jelentős erőforrásokat: többlépcsős tanítás saját adatokon, megerősítéses tanulás utótanítás, és a mérnöki erőfeszítés egy teljes produkciós pipeline nyílt forráskódúvá tételéhez.

A geopolitikai kontextus komplexitást ad hozzá. A nyugati fejlesztők intézményi nyomással szembesülhetnek az orosz eredetű modellek elkerülésére. Az Apache 2.0 licenc jogilag egyértelmű, de a szervezeti politikák változnak. Egyéni fejlesztők és kisebb stúdiók számára a számítás egyszerűbb: a jó technológia jó technológia.

Gyakorlati alkalmazások

A 10 másodperces időtartam és a fogyasztói hardverkövetelmények konkrét használati eseteket nyitnak meg:

Előretekintés

A Kandinsky 5.0 egy szélesebb trendet képvisel: a nyílt és zárt forráskódú videógenerálás közötti szakadék szűkül. Egy évvel ezelőtt a nyílt modellek rövid, alacsony felbontású klipeket készítettek nyilvánvaló hibákkal. Ma egy 2B paraméteres modell fogyasztói hardveren 10 másodperces HD videót generál, ami 2023-ban lehetetlennek tűnt volna.

A verseny nem ért véget. A zárt forráskódú vezetők, mint a Sora 2 és a Runway Gen-4.5 még mindig vezetnek minőségben, időtartamban és vezérelhetőségben. De az alsó határ emelkedik. Sok alkalmazáshoz a nyílt forráskód már elég jó.

A lényeg

A Kandinsky 5.0 nem minden benchmarkot vezet, de ott sikeres, ahol a legfontosabb: valódi videógenerálást futtat olyan hardveren, amellyel valódi emberek rendelkeznek, olyan licenc alatt, amely valódi kereskedelmi használatot tesz lehetővé. Az AI videó demokratizálásának versenyében az orosz csapat éppen közelebb hozta a célvonalat.

A nyílt forráskódú videógenerálást kutató fejlesztőknek a Kandinsky 5.0 megérdemel egy helyet a rövid listán.