Kandinsky 5.0: Рускиот одговор со отворен код на AI генерирање на видео

Пејзажот на отворен код за видео се менува

Кога ByteDance го објави отворениот код на својот модел за разбирање на видео, а Tencent го издаде HunyuanVideo, видовме први знаци на промена. Сега Kandinsky Lab, поддржан од Sberbank, објави целосно семејство модели што секој може да ги стартува, модифицира и комерцијализира под Apache 2.0 лиценца.

Ова не е истражувачки преглед или ограничен API. Целосните тежини, код за тренирање и inference pipeline се достапни на GitHub и Hugging Face.

Семејството модели

Kandinsky 5.0 не е еден модел, туку семејство од три:

Моделот Image Lite со 6B параметри го дополнува семејството за генерирање на статични слики со резолуција 1280×768 или 1024×1024.

Техничка архитектура

Инженерските одлуки во Kandinsky 5.0 откриваат тим фокусиран на практична имплементација наместо на трчање по benchmark-ови.

Основа: Flow Matching наместо дифузија

Традиционалните дифузиони модели учат да го обрнат процесот на додавање на шум чекор по чекор. Flow matching користи поинаков пристап: учи директна патека од шум до слика преку континуирано поле на проток. Предностите се значителни:

NABLA: Овозможување на долги видеа

Вистинската иновација е NABLA, кратенка од Neighborhood Adaptive Block-Level Attention. Стандардната transformer attention се скалира квадратно со должината на секвенцата. За видео тоа е катастрофа. 10-секунден клип на 24 fps содржи 240 кадри, секој со илјадници просторни patch-еви. Целосна attention кон сите е компјутерски неизводлива.

NABLA го решава тоа преку ретки шеми на attention. Наместо да обрнува внимание на секој patch во секој кадар, го фокусира пресметувањето на:

1. Локални просторни соседства во рамките на секој кадар
2. Темпорални соседи низ соседни кадри
3. Научени глобални сидра за долгорочна кохерентност

Резултатот е речиси линеарно скалирање со должината на видеото наместо квадратно. Тоа го прави генерирањето на 10 секунди изводливо на потрошувачки хардвер.

Градење врз HunyuanVideo

Наместо да тренира сè од нула, Kandinsky 5.0 го прифаќа 3D VAE од проектот HunyuanVideo на Tencent. Овој encoder-decoder управува со преводот меѓу просторот на пиксели и компактниот латентен простор каде што работи дифузионата процес.

Разбирањето на текст доаѓа од Qwen2.5-VL, vision-language модел, комбиниран со CLIP embeddings за семантичко заземјување. Овој пристап со двоен encoder му овозможува на моделот да разбере и буквалното значење и визуелниот стил што го подразбираат prompt-овите.

Перформанси: Каде стои

Тимот го позиционира Video Lite како врвен извршител меѓу моделите со отворен код во својата параметарска класа. Benchmark-овите покажуваат:

Барањето за 12GB VRAM ги отвора вратите за имплементација на потрошувачки RTX 3090 и 4090 картички, значаен чекор во достапноста.

Споредбите на квалитетот се потешки за квантификување. Извештаите на корисниците сугерираат дека Kandinsky произведува поконзистентно движење од CogVideoX, но заостанува зад HunyuanVideo во фотореализам. 16-чекор дестилираниот модел жртвува некои фини детали за брзина, компромис што функционира добро за прототипирање, но можеби нема да ги задоволи потребите на финалната продукција.

Локално стартување на Kandinsky

Проектот обезбедува ComfyUI nodes и самостојни скрипти. Основен text-to-video workflow:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # За 12GB картички
 
video = model.generate(
    prompt="A mountain lake at dawn, mist rising from still water",
    num_frames=120,  # 5 seconds at 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Растоварувањето на меморија ги преместува тежините на моделот меѓу CPU и GPU за време на инференцијата. Тоа ја заменува брзината за достапност, дозволувајќи поголемите модели да работат на помали картички.

Врската со Sberbank

Kandinsky Lab работи под Sber AI, одделението за вештачка интелигенција на Sberbank, најголемата банка во Русија. Оваа поддршка ги објаснува значителните ресурси зад проектот: повеќестепено тренирање на сопствени податоци, reinforcement learning post-training и инженерските напори да се објави целосен production pipeline.

Геополитичкиот контекст додава комплексност. Западните развивачи може да се соочат со институционален притисок да избегнуваат модели од руско потекло. Apache 2.0 лиценцата е правно јасна, но организациските политики варираат. За поединечни развивачи и помали студија, пресметката е попроста: добрата технологија е добра технологија.

Практични примени

10-секундното времетраење и барањата за потрошувачки хардвер отвораат специфични случаи на употреба:

Поглед напред

Kandinsky 5.0 претставува пошироки тренд: разликата меѓу отворен и затворен код за генерирање на видео се стеснува. Пред една година, моделите со отворен код произведуваа кратки клипови со ниска резолуција со очигледни артефакти. Денес модел од 2B параметри на потрошувачки хардвер генерира 10-секундно HD видео што би изгледало невозможно во 2023.

Трката не е завршена. Лидерите со затворен код како Sora 2 и Runway Gen-4.5 сè уште водат во квалитет, времетраење и контрола. Но подот расте. За многу апликации, отворениот код сега е доволно добар.

Заклучок

Kandinsky 5.0 можеби не е на врвот на секој benchmark, но успева таму каде што е најважно: стартување на вистинско генерирање на видео на хардвер што вистински луѓе го поседуваат, под лиценца што дозволува вистинска комерцијална употреба. Во трката за демократизација на AI видео, рускиот тим токму ја помести финалната линија поблиску.

За развивачите што истражуваат генерирање на видео со отворен код, Kandinsky 5.0 заслужува место на вашата листа.