Kandinsky 5.0: Руският отговор с отворен код на генерирането на видео с AI

Ландшафтът на видео с отворен код се променя

Когато ByteDance отвори кода на своя модел за разбиране на видео, а Tencent пусна HunyuanVideo, видяхме първите признаци на промяна. Сега Kandinsky Lab, подкрепен от Sberbank, публикува цяло семейство модели, които всеки може да стартира, модифицира и комерсиализира под Apache 2.0 лиценз.

Това не е изследователски преглед или ограничен API. Пълните тежести, тренировъчен код и inference pipeline са достъпни в GitHub и Hugging Face.

Семейството модели

Kandinsky 5.0 не е един модел, а семейство от три:

Модел Image Lite с 6B параметъра допълва семейството за генериране на статични изображения с резолюция 1280×768 или 1024×1024.

Техническа архитектура

Инженерните решения в Kandinsky 5.0 разкриват екип, фокусиран върху практическото внедряване, а не преследване на benchmark-ове.

Основа: Flow Matching вместо дифузия

Традиционните дифузионни модели учат да обръщат процес на добавяне на шум стъпка по стъпка. Flow matching използва различен подход: учи директен път от шум до изображение чрез непрекъснато поле на поток. Предимствата са значителни:

NABLA: Правене на дълги видеа възможно

Истинската иновация е NABLA, съкращение от Neighborhood Adaptive Block-Level Attention. Стандартното transformer attention се мащабира квадратично с дължината на последователността. За видео това е катастрофа. 10-секундно клипче при 24 fps съдържа 240 кадъра, всеки с хиляди пространствени пачове. Пълно attention върху всички тях е изчислително невъзможно.

NABLA решава това чрез разредени attention шаблони. Вместо да обръща внимание на всеки пач във всеки кадър, фокусира изчисленията върху:

1. Локални пространствени съседства в рамките на всеки кадър
2. Темпорални съседи през съседни кадри
3. Научени глобални котви за дългосрочна кохерентност

Резултатът е близко до линейно мащабиране с дължината на видеото вместо квадратично. Това прави 10-секундното генериране възможно на потребителски хардуер.

Изграждане върху HunyuanVideo

Вместо да тренира всичко от нулата, Kandinsky 5.0 приема 3D VAE от проекта HunyuanVideo на Tencent. Този encoder-decoder се справя с превода между пикселно пространство и компактното латентно пространство, където работи дифузионният процес.

Разбирането на текст идва от Qwen2.5-VL, vision-language модел, комбиниран с CLIP embeddings за семантично заземяване. Този подход с двоен encoder позволява на модела да разбере както буквалното значение, така и визуалния стил, подразбиран от промптите.

Производителност: Къде се намира

Екипът позиционира Video Lite като топ изпълнител сред модели с отворен код в своя параметров клас. Benchmark-овете показват:

Изискването за 12GB VRAM отваря вратата за внедряване на потребителски RTX 3090 и 4090 карти, значителна стъпка в достъпността.

Качествените сравнения са по-трудни за количествено определяне. Потребителските отзиви предполагат, че Kandinsky произвежда по-последователно движение от CogVideoX, но изостава от HunyuanVideo в реализъм. 16-стъпковият дестилиран модел жертва някои фини детайли за скорост, компромис, който работи добре за прототипиране, но може да не удовлетвори нуждите на финалната продукция.

Стартиране на Kandinsky локално

Проектът предоставя ComfyUI nodes и самостоятелни скриптове. Основен text-to-video workflow:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # За 12GB карти
 
video = model.generate(
    prompt="A mountain lake at dawn, mist rising from still water",
    num_frames=120,  # 5 seconds at 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Разтоварването на паметта премества тежестите на модела между CPU и GPU по време на inference. Това размен скорост за достъпност, позволявайки на по-големи модели да работят на по-малки карти.

Връзката със Sberbank

Kandinsky Lab работи под Sber AI, дивизията за изкуствен интелект на Sberbank, най-голямата банка в Русия. Тази подкрепа обяснява значителните ресурси зад проекта: многоетапно обучение върху собствени данни, reinforcement learning post-training и инженерните усилия да се отвори кодът на пълен production pipeline.

Геополитическият контекст добавя сложност. Западните разработчици могат да изпитат институционален натиск да избягват модели с руски произход. Apache 2.0 лицензът е юридически ясен, но организационните политики варират. За индивидуални разработчици и по-малки студиа изчислението е по-просто: добрата технология е добра технология.

Практически приложения

10-секундната продължителност и изискванията за потребителски хардуер отварят специфични случаи на употреба:

Поглед напред

Kandinsky 5.0 представлява по-широка тенденция: разликата между видео генериране с отворен и затворен код се стеснява. Преди година моделите с отворен код произвеждаха кратки клипчета с ниска резолюция с очевидни артефакти. Днес 2B параметров модел на потребителски хардуер генерира 10-секундно HD видео, което би изглеждало невъзможно през 2023.

Състезанието не е приключило. Лидерите със затворен код като Sora 2 и Runway Gen-4.5 все още водят в качество, продължителност и контролируемост. Но минималното ниво се покачва. За много приложения отвореният код вече е достатъчно добър.

Заключение

Kandinsky 5.0 може да не е на върха на всеки benchmark, но успява там, където има най-голямо значение: стартиране на реално видео генериране на хардуер, който реални хора притежават, под лиценз, който позволява реална търговска употреба. В състезанието за демократизиране на AI видео руският екип току-що премести финалната линия по-близо.

За разработчици, изследващи генериране на видео с отворен код, Kandinsky 5.0 заслужава място в списъка ви.