Kandinsky 5.0: opið svar Rússlands við myndbandsgerð gervigreindar

Opið myndbandslandslag breytist

Þegar ByteDance opnaði skilningslíkan sitt fyrir myndböndum og Tencent gaf út HunyuanVideo, sáum við fyrstu skjálftana í breytingu. Nú hefur Kandinsky Lab, með stuðningi Sberbank, gefið út heila fjölskyldu líkana sem allir geta keyrt, breytt og nýtt í viðskiptum undir Apache 2.0 leyfinu.

Þetta er ekki rannsóknarforútgáfa eða takmarkað API. Fullt vægi, þjálfunarkóði og ályktunarleiðsla eru fáanleg á GitHub og Hugging Face.

Líkanafjölskyldan

Kandinsky 5.0 er ekki eitt líkan heldur fjölskylda þriggja:

6B breyta Image Lite líkan klárar fjölskylduna fyrir kyrrmyndagerð á 1280×768 eða 1024×1024 upplausn.

Tæknileg hönnun

Verkfræðilegar ákvarðanir í Kandinsky 5.0 sýna teymi sem einbeitir sér að hagnýtri uppsetningu frekar en að elta viðmiðanir.

Grunnur: flæðisamsvörun umfram dreifingu

Hefðbundin dreifingarlíkön læra að snúa við hávaðaferli skref fyrir skref. Flæðisamsvörun tekur aðra nálgun: það lærir beina leið frá hávaða að mynd í gegnum samfellt flæðissvið. Kostir eru umtalsverðir:

NABLA: gera löng myndskeið möguleg

Raunveruleg nýjung er NABLA, skammstöfun fyrir Neighborhood Adaptive Block-Level Attention. Staðlað umbreytingarathygli stækkar í ferningi með raðarlengd. Fyrir myndskeið er þetta hamfaravaldandi. 10 sekúndna klipp á 24 fps inniheldur 240 ramma, hver með þúsundum rýmisflísa. Full athygli á öllum þeim er reikningslega óframkvæmanleg.

NABLA leysir þetta með dreifðum athyglimynstrum. Frekar en að gefa gaum að öllum flísum í öllum römmum, einbeitir það útreikningi að:

1. Staðbundnum rýmisgrennd innan hvers ramma
2. Tímagrennd yfir aðliggjandi ramma
3. Lærðum alþjóðlegum akkeri fyrir langtímasamhengi

Niðurstaðan er nær línuleg stækkun með lengd myndskeiðs í stað fernings. Þetta er það sem gerir 10 sekúndna framleiðslu framkvæmanlega á neytendavélbúnaði.

Byggt á HunyuanVideo

Frekar en að þjálfa allt frá grunni, tekur Kandinsky 5.0 upp 3D VAE frá HunyuanVideo verkefni Tencent. Þessi kóðari-afkóðari sér um þýðingu milli punktarýmis og þétta leynirýmisins þar sem dreifingarvinnslur virka.

Textaskilningur kemur frá Qwen2.5-VL, sjón-tungumállíkani, ásamt CLIP innfellingu fyrir merkingargrunn. Þessi tvöfaldi kóðaranálgun gerir líkaninu kleift að skilja bæði bókstaflega merkingu og sjónræna stíl sem bendir til í fyrirmælum.

Afköst: hvar stendur það

Teymið staðsetur Video Lite sem besta frammistöðuna meðal opinna líkana í sínum breytuflokkum. Viðmið sýna:

12GB VRAM krafan opnar dyrnar að uppsetningu á neytenda RTX 3090 og 4090 kortum, mikilvægur aðgengilegur áfangi.

Gæðasamanburður er erfiðari að mæla. Notendaskýrslur benda til þess að Kandinsky framleiði stöðugri hreyfingu en CogVideoX en sé á eftir HunyuanVideo í ljósmyndaraunsæi. 16-skrefa eimað líkan fórnar smáatriðum fyrir hraða, málamiðlun sem virkar vel fyrir frumgerðir en uppfyllir kannski ekki endanlegar framleiðsluþarfir.

Keyra Kandinsky á staðnum

Verkefnið býður upp á ComfyUI hnúta og sjálfstæð skriftur. Grunnvinnuflæði texta í myndskeið:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # Fyrir 12GB kort
 
video = model.generate(
    prompt="A mountain lake at dawn, mist rising from still water",
    num_frames=120,  # 5 seconds at 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Minniflutningur færir líkanvægi á milli CPU og GPU við ályktun. Þetta skiptir á hraða fyrir aðgengi, gerir stærri líkönum kleift að keyra á minni kortum.

Sberbank tengsl

Kandinsky Lab starfar undir Sber AI, gervigreindardeildinni hjá Sberbank, stærsta banka Rússlands. Þessi stuðningur útskýrir umtalsvert fjármagn á bak við verkefnið: fjölþrepa þjálfun á séreignargögnum, styrkingarnám eftir þjálfun og verkfræðilegar viðleitni til að opna heildar framleiðsluleiðslu.

Landfræðipólitískt samhengi bætir við flækjustigi. Vestræn forritara gætu staðið frammi fyrir stofnanþrýstingi til að forðast rússneskt líkön. Apache 2.0 leyfið er lagalega skýrt, en stefnur fyrirtækja eru mismunandi. Fyrir einstaka forritara og minni stúdíó er útreikningurinn einfaldari: góð tækni er góð tækni.

Hagnýt notkun

10 sekúndna lengd og neytendavélbúnaðarkröfur opna ákveðin notkunartilfelli:

Að líta fram á við

Kandinsky 5.0 táknar víðtækari þróun: bilið milli opinnar og lokaðrar myndskeiðsgerðar minnkar. Fyrir ári framleiddu opin líkön stutt klipp í lágri upplausn með augljósum gervigripum. Í dag framleiðir 2B breyta líkan á neytendavélbúnaði 10 sekúndna HD myndskeið sem hefði virst ómögulegt árið 2023.

Keppnin er ekki búin. Lokaðir leiðtogar eins og Sora 2 og Runway Gen-4.5 leiða enn í gæðum, lengd og stjórn. En grunnurinn er að hækka. Fyrir mörg forrit eru opnar lausnir nú nógu góðar.

Niðurstaðan

Kandinsky 5.0 toppar kannski ekki öll viðmið, en það nær árangri þar sem það skiptir mestu máli: keyra raunverulega myndskeiðsgerð á vélbúnaði sem raunverulegt fólk á, undir leyfi sem leyfir raunverulega viðskiptanotkun. Í keppninni um að lýðræðisvæða AI myndskeið hefur rússneska teymið nýlega fært marklínuna nær.

Fyrir forritara sem kanna opna myndskeiðsgerð á Kandinsky 5.0 skilið sæti á stuttlistanum þínum.