Kandinsky 5.0: La risposta open-source russa alla generazione video con IA

Il panorama video open-source si trasforma

Quando ByteDance ha reso open-source il proprio modello di comprensione video e Tencent ha rilasciato HunyuanVideo, abbiamo visto i primi segnali di un cambiamento. Ora Kandinsky Lab, sostenuto da Sberbank, ha rilasciato una famiglia completa di modelli che chiunque può eseguire, modificare e commercializzare sotto licenza Apache 2.0.

Non si tratta di un'anteprima di ricerca o di un'API limitata. I pesi completi, il codice di training e la pipeline di inferenza sono disponibili su GitHub e Hugging Face.

La famiglia di modelli

Kandinsky 5.0 non è un singolo modello, ma una famiglia di tre modelli:

Un modello Image Lite da 6B parametri completa la famiglia per la generazione di immagini statiche a risoluzione 1280×768 o 1024×1024.

Architettura tecnica

Le scelte ingegneristiche in Kandinsky 5.0 rivelano un team concentrato sul deployment pratico piuttosto che sulla rincorsa ai benchmark.

Fondamenta: Flow Matching oltre la Diffusione

I modelli di diffusione tradizionali imparano a invertire un processo di aggiunta di rumore passo dopo passo. Il flow matching adotta un approccio diverso: impara un percorso diretto dal rumore all'immagine attraverso un campo di flusso continuo. I vantaggi sono significativi:

NABLA: Rendere possibili i video lunghi

L'innovazione reale è NABLA, acronimo di Neighborhood Adaptive Block-Level Attention. L'attenzione transformer standard scala quadraticamente con la lunghezza della sequenza. Per i video, questo è catastrofico. Una clip da 10 secondi a 24 fps contiene 240 frame, ciascuno con migliaia di patch spaziali. L'attenzione completa su tutti questi elementi è computazionalmente intrattabile.

NABLA affronta questo problema attraverso pattern di attenzione sparsi. Invece di prestare attenzione a ogni patch in ogni frame, concentra il calcolo su:

1. Vicinati spaziali locali all'interno di ciascun frame
2. Vicini temporali attraverso frame adiacenti
3. Ancoraggi globali appresi per la coerenza a lungo raggio

Il risultato è una scalabilità quasi lineare con la lunghezza del video invece che quadratica. Questo è ciò che rende fattibile la generazione di 10 secondi su hardware consumer.

Costruire su HunyuanVideo

Invece di addestrare tutto da zero, Kandinsky 5.0 adotta il VAE 3D dal progetto HunyuanVideo di Tencent. Questo encoder-decoder gestisce la traduzione tra lo spazio dei pixel e lo spazio latente compatto dove opera il processo di diffusione.

La comprensione del testo proviene da Qwen2.5-VL, un modello vision-language, combinato con embedding CLIP per l'ancoraggio semantico. Questo approccio dual-encoder consente al modello di comprendere sia il significato letterale che lo stile visivo implicato dai prompt.

Prestazioni: Dove si colloca

Il team posiziona Video Lite come il migliore performer tra i modelli open-source nella sua classe di parametri. I benchmark mostrano:

Il requisito di 12GB di VRAM apre la porta al deployment su schede RTX 3090 e 4090 consumer, una pietra miliare significativa per l'accessibilità.

I confronti di qualità sono più difficili da quantificare. I report degli utenti suggeriscono che Kandinsky produce movimenti più coerenti di CogVideoX, ma rimane indietro rispetto a HunyuanVideo nel fotorealismo. Il modello distillato a 16 step sacrifica alcuni dettagli fini per la velocità, un compromesso che funziona bene per il prototipaggio ma potrebbe non soddisfare le esigenze di produzione finale.

Eseguire Kandinsky localmente

Il progetto fornisce nodi ComfyUI e script standalone. Un workflow base text-to-video:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # For 12GB cards
 
video = model.generate(
    prompt="A mountain lake at dawn, mist rising from still water",
    num_frames=120,  # 5 seconds at 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Lo scaricamento della memoria sposta i pesi del modello tra CPU e GPU durante l'inferenza. Questo scambia velocità con accessibilità, consentendo a modelli più grandi di funzionare su schede più piccole.

La connessione con Sberbank

Kandinsky Lab opera sotto Sber AI, la divisione di intelligenza artificiale di Sberbank, la più grande banca russa. Questo sostegno spiega le risorse sostanziali dietro il progetto: training multi-stadio su dati proprietari, post-training con reinforcement learning, e lo sforzo ingegneristico per rendere open-source una pipeline di produzione completa.

Il contesto geopolitico aggiunge complessità. Gli sviluppatori occidentali potrebbero affrontare pressioni istituzionali per evitare modelli di origine russa. La licenza Apache 2.0 è giuridicamente chiara, ma le politiche organizzative variano. Per sviluppatori individuali e studi più piccoli, il calcolo è più semplice: buona tecnologia è buona tecnologia.

Applicazioni pratiche

La durata di 10 secondi e i requisiti hardware consumer aprono casi d'uso specifici:

Guardando al futuro

Kandinsky 5.0 rappresenta una tendenza più ampia: il divario tra generazione video open-source e closed-source si sta restringendo. Un anno fa, i modelli aperti producevano clip brevi a bassa risoluzione con artefatti evidenti. Oggi, un modello da 2B parametri su hardware consumer genera video HD da 10 secondi che sarebbero sembrati impossibili nel 2023.

La corsa non è finita. I leader closed-source come Sora 2 e Runway Gen-4.5 guidano ancora in qualità, durata e controllabilità. Ma il livello minimo sta salendo. Per molte applicazioni, l'open-source è ora abbastanza buono.

La conclusione

Kandinsky 5.0 potrebbe non primeggiare in ogni benchmark, ma ha successo dove conta di più: eseguire vera generazione video su hardware che persone reali possiedono, sotto una licenza che consente vero uso commerciale. Nella corsa per democratizzare il video IA, il team russo ha appena spostato il traguardo più vicino.

Per gli sviluppatori che esplorano la generazione video open-source, Kandinsky 5.0 merita un posto nella vostra lista ristretta.