Kandinsky 5.0: Venäjän avoimen lähdekoodin vastaus AI-videon generointiin

Avoimen Lähdekoodin Videomaisema Muuttuu

Kun ByteDance avasi video understanding -mallinsa lähdekoodin ja Tencent julkaisi HunyuanVideon, näimme ensimmäiset tärähdykset muutoksessa. Nyt Kandinsky Lab, jota tukee Sberbank, on julkaissut täydellisen mallikokoelman, jonka kuka tahansa voi ajaa, muokata ja kaupallistaa Apache 2.0 -lisenssillä.

Tämä ei ole tutkimusesikatselu tai rajoitettu API. Täydelliset painot, harjoittelukoodi ja inference-putki ovat saatavilla GitHubissa ja Hugging Facessa.

Malliperheen

Kandinsky 5.0 ei ole yksittäinen malli vaan kolmen mallin perhe:

6B parametrin Image Lite -malli täydentää perheen still-kuvan generointiin 1280×768 tai 1024×1024 resoluutiolla.

Tekninen Arkkitehtuuri

Kandinsky 5.0:n tekniset päätökset paljastavat tiimin, joka keskittyy käytännön käyttöönottoon benchmark-jahtauksen sijaan.

Perusta: Flow Matching Diffusion sijaan

Perinteiset diffusion-mallit oppivat kääntämään kohinan lisäysprosessin askel askeleelta. Flow matching ottaa eri lähestymistavan: se oppii suoran polun kohinasta kuvaan jatkuvan virtakentän kautta. Edut ovat merkittäviä:

NABLA: Pitkien Videoiden Mahdollistaminen

Todellinen innovaatio on NABLA, lyhenne sanoista Neighborhood Adaptive Block-Level Attention. Vakio transformer attention skaalautuu kvadraattisesti sekvenssin pituuden mukaan. Videolle tämä on katastrofaalista. 10 sekunnin leike 24 fps:llä sisältää 240 kehystä, joista jokaisessa on tuhansia spatiaalisia patcheja. Täysi attention kaikkien yli on laskennallisesti mahdotonta.

NABLA käsittelee tämän harvojen attention-kuvioiden kautta. Sen sijaan, että se antaisi attentionia jokaiselle patchille jokaisessa kehyksessä, se keskittää laskennan:

1. Paikalliset spatiaaliset naapurustot jokaisen kehyksen sisällä
2. Temporaaliset naapurit vierekkäisten kehysten välillä
3. Opitut globaalit ankkurit pitkän kantaman koherenssille

Tuloksena on lähes lineaarinen skaalautuminen videon pituuden mukaan kvadraattisen sijaan. Tämä tekee 10 sekunnin generoinnista mahdollisen kuluttajalaitteistolla.

Rakentaminen HunyuanVideon Päälle

Sen sijaan, että harjoittelisi kaiken tyhjästä, Kandinsky 5.0 ottaa käyttöön 3D VAE:n Tencentin HunyuanVideo-projektista. Tämä encoder-decoder käsittelee käännöksen pikseliavaruuden ja kompaktin latentti-avaruuden välillä, jossa diffusion-prosessi toimii.

Tekstin ymmärrys tulee Qwen2.5-VL:stä, vision-language -mallista, yhdistettynä CLIP-upotuksiin semanttista ankkurointia varten. Tämä dual-encoder -lähestymistapa mahdollistaa mallin ymmärtää sekä kirjaimellinen merkitys että visuaalinen tyyli, jonka promptit implikoivat.

Suorituskyky: Missä Se Seisoo

Tiimi asettaa Video Liten parhaaksi performeriksi avoimen lähdekoodin mallien joukossa sen parametriluokassa. Benchmarkit osoittavat:

12GB VRAM-vaatimus avaa oven käyttöönotolle kuluttaja-RTX 3090 ja 4090 -korteilla, merkittävä saavutettavuuden virstanpylväs.

Laatuvertailuja on vaikeampi kvantifioida. Käyttäjäraportit viittaavat siihen, että Kandinsky tuottaa johdonmukaisempaa liikettä kuin CogVideoX, mutta jää jälkeen HunyuanVideosta fotorealismissa. 16-vaiheen tislattu malli uhraa joitain hienoja yksityiskohtia nopeuden vuoksi, kompromissi, joka toimii hyvin prototyyppien tekemiseen, mutta ei välttämättä täytä lopullisia tuotantotarpeita.

Kandinsky Paikallisesti Käyttäminen

Projekti tarjoaa ComfyUI-nodeja ja standalone-skriptejä. Perusteksti-videoksi -työnkulku:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # 12GB-korteille
 
video = model.generate(
    prompt="Vuoristojärvi aamunkoitteessa, sumu nousee tyynestä vedestä",
    num_frames=120,  # 5 sekuntia 24fps:llä
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Muistin siirtäminen siirtää mallipainoja CPU:n ja GPU:n välillä inference-vaiheen aikana. Tämä vaihtaa nopeuden saavutettavuuteen, mahdollistaen suurempien mallien ajamisen pienemmillä korteilla.

Sberbank-yhteys

Kandinsky Lab toimii Sber AI:n alaisuudessa, Sberbankin tekoälyosaston, joka on Venäjän suurin pankki. Tämä tuki selittää projektin takana olevat merkittävät resurssit: monivaiheinen harjoittelu omistamalla datalla, reinforcement learning jälkiharjoittelu ja insinöörityö täydellisen tuotantoputken avaamiseksi.

Geopoliittinen konteksti lisää monimutkaisuutta. Länsimaiset kehittäjät saattavat kohdata institutionaalista painetta välttää venäläisperäisiä malleja. Apache 2.0 -lisenssi on juridisesti selkeä, mutta organisaatioiden käytännöt vaihtelevat. Yksittäisille kehittäjille ja pienemmille studioille laskenta on yksinkertaisempi: hyvä teknologia on hyvä teknologia.

Käytännön Sovellukset

10 sekunnin kesto ja kuluttajalaitteiston vaatimukset avaavat tiettyjä käyttötapauksia:

Eteenpäin Katsoen

Kandinsky 5.0 edustaa laajempaa trendiä: kuilu avoimen ja suljetun lähdekoodin videon generoinnin välillä kaventuu. Vuosi sitten avoimet mallit tuottivat lyhyitä, matalaresoluutioisia leikkeitä ilmeisillä artefakteilla. Tänään 2B parametrin malli kuluttajalaitteistolla generoi 10 sekunnin HD-videon, joka olisi vaikuttanut mahdottomalta vuonna 2023.

Kisa ei ole ohi. Suljetun lähdekoodin johtajat kuten Sora 2 ja Runway Gen-4.5 johtavat edelleen laadussa, kestossa ja hallittavuudessa. Mutta lattia nousee. Moniin sovelluksiin avoimen lähdekoodin riittää nyt.

Yhteenveto

Kandinsky 5.0 ei ehkä johda jokaista benchmarkia, mutta onnistuu siellä, missä se eniten merkitsee: ajaa todellista videon generointia laitteistolla, jonka todelliset ihmiset omistavat, lisenssillä, joka sallii todellisen kaupallisen käytön. Kilpailussa AI-videon demokratisoimiseksi venäläinen tiimi on juuri siirtänyt maaliviivan lähemmäs.

Kehittäjille, jotka tutkivat avoimen lähdekoodin videon generointia, Kandinsky 5.0 ansaitsee paikan shortlististasi.