Kandinsky 5.0: Rusijos atvirojo kodo atsakas į DI vaizdo įrašų generavimą

Keičiasi atvirojo kodo vaizdo įrašų rinka

Kai ByteDance atvėrė savo vaizdo supratimo modelio kodą, o Tencent išleido HunyuanVideo, išvydome pirmuosius pokyčių ženklus. Dabar Kandinsky Lab, remiama Sberbank, išleido visą modelių šeimą, kurią kiekvienas gali paleisti, modifikuoti ir komercializuoti pagal Apache 2.0 licenciją.

Tai nėra tyrimų peržiūra ar ribota API. Visi svoriai, mokymo kodas ir išvadų generavimo procesas prieinami GitHub ir Hugging Face.

Modelių šeima

Kandinsky 5.0 nėra vienas modelis, tai trijų modelių šeima:

Šeimą papildo 6B parametrų Image Lite modelis, skirtas nejudančių vaizdų generavimui 1280×768 arba 1024×1024 raiška.

Techninė architektūra

Kandinsky 5.0 inžineriniai sprendimai atskleidžia komandą, susitelkusią į praktinį diegimą, o ne į siekį vaikytis etaloninius rodiklius.

Pagrindas: srautų suderinimas vietoje difuzijos

Tradiciniai difuzijos modeliai mokosi žingsnis po žingsnio apversti triukšmo pridėjimo procesą. Srautų suderinimas taiko kitą metodą: jis mokosi tiesioginio kelio nuo triukšmo iki vaizdo per nenutrūkstamą srauto lauką. Pranašumai reikšmingi:

NABLA: kaip įmanomi ilgi vaizdo įrašai

Tikroji inovacija yra NABLA, trumpinys nuo Neighborhood Adaptive Block-Level Attention. Standartinis transformerių dėmesio mechanizmas didėja kvadratiškai, ilgėjant sekai. Vaizdo įrašams tai yra katastrofiška. 10 sekundžių klipą, esant 24 k./s, sudaro 240 kadrų, o kiekviename jų yra tūkstančiai erdvinių fragmentų. Visapusiškas dėmesys visiems jiems yra skaičiavimo požiūriu neįveikiamas.

NABLA tai sprendžia naudodama retus dėmesio modelius. Užuot skyrusi dėmesį kiekvienam fragmentui kiekviename kadre, ji sutelkia skaičiavimus į:

1. Vietines erdvines kaimynystes kiekviename kadre
2. Laikinius kaimynus gretimuose kadruose
3. Išmoktus globalius inkarus ilgalaikiam nuoseklumui

Rezultatas yra beveik tiesinis mastelio didinimas, ilgėjant vaizdo įrašui, vietoje kvadratinio. Būtent tai leidžia generuoti 10 sekundžių vaizdo įrašus vartotojų įrangoje.

HunyuanVideo pagrindu

Užuot mokius viską nuo nulio, Kandinsky 5.0 perima 3D VAE iš Tencent HunyuanVideo projekto. Šis koduotuvas-dekoduotuvas tvarko vertimą tarp pikselių erdvės ir kompaktiškos latentinės erdvės, kurioje veikia difuzijos procesas.

Teksto supratimą suteikia regos ir kalbos modelis Qwen2.5-VL, kartu su CLIP įterpiniais semantiniam pagrindimui. Šis dviejų koduotuvių metodas leidžia modeliui suprasti ir tiesioginę prasmę, ir užuominose numanomą vaizdinį stilių.

Našumas: kokia jo pozicija

Komanda Video Lite pozicionuoja kaip geriausią atvirojo kodo modelių atlikėją savo parametrų klasėje. Etaloniniai testai rodo:

12GB VRAM reikalavimas atveria kelią diegimui vartotojų RTX 3090 ir 4090 vaizdo plokštėse, tai reikšmingas prieinamumo etapas.

Kokybės palyginimus sunkiau kiekybiškai įvertinti. Naudotojų atsiliepimai rodo, kad Kandinsky sukuria nuoseklesnį judesį nei CogVideoX, tačiau fotorealizmu nusileidžia HunyuanVideo. 16 žingsnių distiliuotas modelis dalies smulkių detalių atsisako dėl greičio, tai kompromisas, tinkamas prototipams, bet galintis netenkinti galutinės produkcijos poreikių.

Kandinsky paleidimas vietoje

Projektas pateikia ComfyUI mazgus ir atskirus scenarijus. Pagrindinė teksto į vaizdo įrašą darbo eiga:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # For 12GB cards
 
video = model.generate(
    prompt="A mountain lake at dawn, mist rising from still water",
    num_frames=120,  # 5 seconds at 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Atminties perkėlimas išvadų generavimo metu perkelia modelio svorius tarp CPU ir GPU. Tai paaukoja greitį dėl prieinamumo ir leidžia didesniems modeliams veikti mažesnėse vaizdo plokštėse.

Ryšys su Sberbank

Kandinsky Lab veikia Sber AI, Sberbank, didžiausio Rusijos banko, dirbtinio intelekto padalinyje. Ši parama paaiškina didelius projektui skirtus išteklius: kelių etapų mokymą naudojant nuosavybinius duomenis, papildomą mokymą su pastiprinimu ir inžinerines pastangas atverti visą produkcinį procesą.

Geopolitinis kontekstas suteikia papildomo sudėtingumo. Vakarų kūrėjai gali patirti institucinį spaudimą vengti Rusijos kilmės modelių. Apache 2.0 licencija yra teisiškai aiški, tačiau organizacijų politika skiriasi. Individualiems kūrėjams ir mažesnėms studijoms skaičiavimas paprastesnis: gera technologija yra gera technologija.

Praktiniai pritaikymai

10 sekundžių trukmė ir vartotojų įrangos reikalavimai atveria konkrečius naudojimo atvejus:

Žvilgsnis į ateitį

Kandinsky 5.0 atspindi platesnę tendenciją: atotrūkis tarp atvirojo ir uždarojo kodo vaizdo įrašų generavimo mažėja. Prieš metus atviri modeliai kūrė trumpus, mažos raiškos klipus su akivaizdžiais artefaktais. Šiandien 2B parametrų modelis vartotojų įrangoje generuoja 10 sekundžių HD vaizdo įrašą, kuris 2023 metais būtų atrodęs neįmanomas.

Lenktynės nesibaigė. Uždarojo kodo lyderiai, tokie kaip Sora 2 ir Runway Gen-4.5, vis dar pirmauja kokybe, trukme ir valdomumu. Tačiau apatinė riba kyla. Daugeliui pritaikymų atvirasis kodas dabar yra pakankamai geras.

Esmė

Kandinsky 5.0 gali nepirmauti kiekviename etaloniniame teste, tačiau jis pasiekia svarbiausią dalyką: leidžia generuoti tikrus vaizdo įrašus įrangoje, kurią turi tikri žmonės, pagal licenciją, leidžiančią realų komercinį naudojimą. Lenktynėse dėl DI vaizdo įrašų demokratizavimo Rusijos komanda ką tik priartino finišo liniją.

Kūrėjams, tyrinėjantiems atvirojo kodo vaizdo įrašų generavimą, Kandinsky 5.0 verta įtraukti į trumpąjį sąrašą.

Šaltiniai

• Kandinsky Lab: Kandinsky 5.0 pateikia 10 sekundžių vaizdo įrašų kontrolinius taškus ir palaiko generavimą GPU su 12 GB… (Kandinsky Lab)