Kandinsky 5.0: A resposta open-source russa à geração de vídeo por IA

O cenário do vídeo open-source se transforma

Quando a ByteDance tornou open-source seu modelo de compreensão de vídeo e a Tencent lançou o HunyuanVideo, vimos os primeiros sinais de uma mudança. Agora o Kandinsky Lab, apoiado pelo Sberbank, lançou uma família completa de modelos que qualquer pessoa pode executar, modificar e comercializar sob a licença Apache 2.0.

Isso não é uma prévia de pesquisa ou uma API restrita. Os pesos completos, o código de treinamento e o pipeline de inferência estão disponíveis no GitHub e Hugging Face.

A família de modelos

Kandinsky 5.0 não é um modelo único, mas uma família de três modelos:

Um modelo Image Lite de 6B parâmetros completa a família para geração de imagens estáticas em resolução 1280×768 ou 1024×1024.

Arquitetura técnica

As decisões de engenharia no Kandinsky 5.0 revelam uma equipe focada em implantação prática em vez de perseguir benchmarks.

Fundamento: Flow Matching em vez de Difusão

Modelos de difusão tradicionais aprendem a reverter um processo de adição de ruído passo a passo. O flow matching adota uma abordagem diferente: ele aprende um caminho direto do ruído para a imagem através de um campo de fluxo contínuo. As vantagens são significativas:

NABLA: Tornando vídeos longos possíveis

A verdadeira inovação é o NABLA, abreviação de Neighborhood Adaptive Block-Level Attention. A atenção transformer padrão escala quadraticamente com o comprimento da sequência. Para vídeo, isso é catastrófico. Um clipe de 10 segundos a 24 fps contém 240 quadros, cada um com milhares de patches espaciais. Atenção completa sobre todos eles é computacionalmente intratável.

NABLA resolve isso através de padrões de atenção esparsa. Em vez de atender a cada patch em cada quadro, ele concentra o cálculo em:

1. Vizinhanças espaciais locais dentro de cada quadro
2. Vizinhos temporais através de quadros adjacentes
3. Âncoras globais aprendidas para coerência de longo alcance

O resultado é uma escala quase linear com o comprimento do vídeo em vez de quadrática. Isso é o que torna a geração de 10 segundos viável em hardware de consumo.

Construindo sobre HunyuanVideo

Em vez de treinar tudo do zero, Kandinsky 5.0 adota o VAE 3D do projeto HunyuanVideo da Tencent. Este codificador-decodificador lida com a tradução entre o espaço de pixels e o espaço latente compacto onde o processo de difusão opera.

A compreensão de texto vem do Qwen2.5-VL, um modelo de visão-linguagem, combinado com embeddings CLIP para ancoragem semântica. Esta abordagem de codificador duplo permite que o modelo compreenda tanto o significado literal quanto o estilo visual implicado pelos prompts.

Desempenho: Onde se posiciona

A equipe posiciona o Video Lite como o melhor desempenho entre modelos open-source em sua classe de parâmetros. Os benchmarks mostram:

O requisito de 12GB de VRAM abre a porta para implantação em placas RTX 3090 e 4090 de consumo, um marco significativo de acessibilidade.

Comparações de qualidade são mais difíceis de quantificar. Relatórios de usuários sugerem que Kandinsky produz movimento mais consistente que CogVideoX, mas fica atrás do HunyuanVideo em fotorrealismo. O modelo destilado de 16 passos sacrifica alguns detalhes finos por velocidade, uma compensação que funciona bem para prototipagem, mas pode não satisfazer necessidades de produção final.

Executando Kandinsky localmente

O projeto fornece nós ComfyUI e scripts standalone. Um fluxo de trabalho básico de texto para vídeo:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # For 12GB cards
 
video = model.generate(
    prompt="A mountain lake at dawn, mist rising from still water",
    num_frames=120,  # 5 seconds at 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

O descarregamento de memória move os pesos do modelo entre CPU e GPU durante a inferência. Isso troca velocidade por acessibilidade, permitindo que modelos maiores funcionem em placas menores.

A conexão com o Sberbank

Kandinsky Lab opera sob Sber AI, a divisão de inteligência artificial do Sberbank, o maior banco da Rússia. Este apoio explica os recursos substanciais por trás do projeto: treinamento multi-estágio em dados proprietários, pós-treinamento com aprendizado por reforço, e o esforço de engenharia para tornar open-source um pipeline de produção completo.

O contexto geopolítico adiciona complexidade. Desenvolvedores ocidentais podem enfrentar pressão institucional para evitar modelos de origem russa. A licença Apache 2.0 é juridicamente clara, mas políticas organizacionais variam. Para desenvolvedores individuais e estúdios menores, o cálculo é mais simples: boa tecnologia é boa tecnologia.

Aplicações práticas

A duração de 10 segundos e os requisitos de hardware de consumo abrem casos de uso específicos:

Olhando para o futuro

Kandinsky 5.0 representa uma tendência mais ampla: a lacuna entre geração de vídeo open-source e de código fechado está se estreitando. Um ano atrás, modelos abertos produziam clipes curtos de baixa resolução com artefatos óbvios. Hoje, um modelo de 2B parâmetros em hardware de consumo gera vídeo HD de 10 segundos que teria parecido impossível em 2023.

A corrida não acabou. Líderes de código fechado como Sora 2 e Runway Gen-4.5 ainda lideram em qualidade, duração e controlabilidade. Mas o piso está subindo. Para muitas aplicações, o open-source agora é bom o suficiente.

A conclusão

Kandinsky 5.0 pode não liderar todos os benchmarks, mas tem sucesso onde mais importa: executar geração de vídeo real em hardware que pessoas reais possuem, sob uma licença que permite uso comercial real. Na corrida para democratizar vídeo IA, a equipe russa acabou de mover a linha de chegada para mais perto.

Para desenvolvedores explorando geração de vídeo open-source, Kandinsky 5.0 merece um lugar na sua lista restrita.