Kandinsky 5.0: Российский ответ в области открытой генерации видео с помощью ИИ

Сдвиг в ландшафте open-source видео

Когда ByteDance открыл исходный код своей модели понимания видео, а Tencent выпустила HunyuanVideo, мы увидели первые признаки перемен. Теперь Kandinsky Lab, поддерживаемая Сбербанком, выпустила полное семейство моделей, которые любой может запускать, модифицировать и коммерциализировать по лицензии Apache 2.0.

Это не исследовательский превью и не ограниченный API. Полные веса, код обучения и конвейер вывода доступны на GitHub и Hugging Face.

Семейство моделей

Kandinsky 5.0, это не одна модель, а семейство из трёх:

Модель Image Lite с 6 млрд параметров завершает семейство для генерации статичных изображений с разрешением 1280×768 или 1024×1024.

Техническая архитектура

Инженерные решения в Kandinsky 5.0 показывают команду, сфокусированную на практическом развёртывании, а не на погоне за бенчмарками.

Основа: Flow Matching вместо диффузии

Традиционные диффузионные модели учатся шаг за шагом обращать процесс добавления шума. Flow matching использует другой подход: он изучает прямой путь от шума к изображению через непрерывное поле потока. Преимущества значительны:

NABLA: делаем длинные видео возможными

Настоящая инновация, это NABLA (Neighborhood Adaptive Block-Level Attention). Стандартный механизм внимания трансформера масштабируется квадратично с длиной последовательности. Для видео это катастрофа. 10-секундный клип при 24 fps содержит 240 кадров, каждый с тысячами пространственных патчей. Полное внимание ко всем из них вычислительно невыполнимо.

NABLA решает это через паттерны разреженного внимания. Вместо того чтобы обращать внимание на каждый патч в каждом кадре, он фокусирует вычисления на:

1. Локальных пространственных окрестностях внутри каждого кадра
2. Временных соседях через смежные кадры
3. Изученных глобальных якорях для дальнодействующей когерентности

Результат, почти линейное масштабирование с длиной видео вместо квадратичного. Это то, что делает 10-секундную генерацию возможной на потребительском железе.

Основа на HunyuanVideo

Вместо обучения всего с нуля, Kandinsky 5.0 принимает 3D VAE из проекта HunyuanVideo от Tencent. Этот энкодер-декодер обрабатывает трансляцию между пиксельным пространством и компактным латентным пространством, где работает процесс диффузии.

Понимание текста происходит от Qwen2.5-VL, модели vision-language, в сочетании с CLIP-эмбеддингами для семантического заземления. Этот подход с двумя энкодерами позволяет модели понимать как буквальное значение, так и визуальный стиль, подразумеваемый промптами.

Производительность: где она находится

Команда позиционирует Video Lite как лучшую среди open-source моделей в своём классе параметров. Бенчмарки показывают:

Требование 12 ГБ VRAM открывает дверь для развёртывания на потребительских картах RTX 3090 и 4090, значительная веха в доступности.

Сравнения качества сложнее количественно оценить. Отчёты пользователей предполагают, что Kandinsky создаёт более последовательное движение, чем CogVideoX, но отстаёт от HunyuanVideo в фотореализме. 16-шаговая дистиллированная модель жертвует некоторыми мелкими деталями ради скорости, компромисс, который хорошо работает для прототипирования, но может не удовлетворить потребности финального производства.

Запуск Kandinsky локально

Проект предоставляет ноды для ComfyUI и автономные скрипты. Базовый рабочий процесс text-to-video:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # Для карт на 12 ГБ
 
video = model.generate(
    prompt="Горное озеро на рассвете, туман поднимается над неподвижной водой",
    num_frames=120,  # 5 секунд при 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Выгрузка памяти перемещает веса модели между CPU и GPU во время вывода. Это обменивает скорость на доступность, позволяя более крупным моделям работать на меньших картах.

Связь со Сбербанком

Kandinsky Lab работает под управлением Sber AI, подразделения искусственного интеллекта Сбербанка, крупнейшего банка России. Эта поддержка объясняет значительные ресурсы, стоящие за проектом: многоэтапное обучение на проприетарных данных, пост-тренинг с обучением с подкреплением и инженерные усилия по открытию полного производственного конвейера.

Геополитический контекст добавляет сложности. Западные разработчики могут столкнуться с институциональным давлением, чтобы избегать моделей российского происхождения. Лицензия Apache 2.0 юридически ясна, но организационные политики различаются. Для индивидуальных разработчиков и небольших студий расчёт проще: хорошая технология, это хорошая технология.

Практические применения

10-секундная длительность и требования к потребительскому железу открывают конкретные случаи использования:

Взгляд в будущее

Kandinsky 5.0 представляет более широкую тенденцию: разрыв между open и closed-source генерацией видео сокращается. Год назад open-модели создавали короткие клипы низкого разрешения с очевидными артефактами. Сегодня модель с 2 млрд параметров на потребительском железе генерирует 10-секундное HD-видео, которое казалось бы невозможным в 2023 году.

Гонка не окончена. Закрытые лидеры, такие как Sora 2 и Runway Gen-4.5, всё ещё лидируют в качестве, длительности и контролируемости. Но планка поднимается. Для многих применений open-source теперь достаточно хорош.

Выводы

Kandinsky 5.0 может и не возглавлять каждый бенчмарк, но он преуспевает там, где это важнее всего: запуск реальной генерации видео на железе, которым владеют реальные люди, по лицензии, которая позволяет реальное коммерческое использование. В гонке по демократизации видео на базе ИИ российская команда только что приблизила финишную черту.

Для разработчиков, изучающих open-source генерацию видео, Kandinsky 5.0 заслуживает места в вашем списке.