Kandinsky 5.0: Jawapan Sumber Terbuka Rusia untuk Penjanaan Video AI

Landskap Video Sumber Terbuka Berubah

Apabila ByteDance menjadikan model pemahaman video mereka sumber terbuka dan Tencent mengeluarkan HunyuanVideo, kita melihat gegaran pertama perubahan. Kini Kandinsky Lab, disokong oleh Sberbank, telah mengeluarkan keluarga model lengkap yang sesiapa sahaja boleh jalankan, ubah suai, dan komersialkan di bawah lesen Apache 2.0.

Ini bukan pratonton penyelidikan atau API terhad. Berat penuh, kod latihan, dan saluran paip inferens tersedia di GitHub dan Hugging Face.

Keluarga Model

Kandinsky 5.0 bukan model tunggal tetapi keluarga tiga:

Model Image Lite 6B parameter melengkapkan keluarga untuk penjanaan imej pegun pada resolusi 1280x768 atau 1024x1024.

Seni Bina Teknikal

Keputusan kejuruteraan dalam Kandinsky 5.0 mendedahkan pasukan yang fokus pada penggunaan praktikal berbanding mengejar penanda aras.

Asas: Pemadanan Aliran Berbanding Difusi

Model difusi tradisional belajar membalikkan proses penambahan hingar langkah demi langkah. Pemadanan aliran mengambil pendekatan berbeza: ia mempelajari laluan langsung dari hingar ke imej melalui medan aliran berterusan. Kelebihannya adalah signifikan:

NABLA: Menjadikan Video Panjang Mungkin

Inovasi sebenar adalah NABLA, singkatan untuk Neighborhood Adaptive Block-Level Attention. Perhatian transformer standard berskala secara kuadratik dengan panjang urutan. Untuk video, ini adalah bencana. Klip 10 saat pada 24 fps mengandungi 240 bingkai, setiap satu dengan ribuan tampalan spatial. Perhatian penuh merentasi semuanya adalah tidak dapat dikendalikan secara pengiraan.

NABLA menangani ini melalui corak perhatian jarang. Daripada memberi perhatian kepada setiap tampalan dalam setiap bingkai, ia memfokuskan pengiraan pada:

1. Kejiranan spatial tempatan dalam setiap bingkai
2. Jiran temporal merentasi bingkai bersebelahan
3. Sauh global yang dipelajari untuk koherensi jarak jauh

Hasilnya adalah penskalaan hampir linear dengan panjang video berbanding kuadratik. Inilah yang menjadikan penjanaan 10 saat boleh dilaksanakan pada perkakasan pengguna.

Membina di atas HunyuanVideo

Daripada melatih segala-galanya dari awal, Kandinsky 5.0 mengambil VAE 3D dari projek HunyuanVideo Tencent. Pengekod-penyahkod ini mengendalikan terjemahan antara ruang piksel dan ruang laten padat di mana proses difusi beroperasi.

Pemahaman teks datang dari Qwen2.5-VL, model bahasa-penglihatan, digabungkan dengan penyisipan CLIP untuk asas semantik. Pendekatan pengekod dwi ini membolehkan model memahami kedua-dua makna literal dan gaya visual yang tersirat oleh arahan.

Prestasi: Di Mana Kedudukannya

Pasukan meletakkan Video Lite sebagai prestasi teratas di kalangan model sumber terbuka dalam kelas parameternya. Penanda aras menunjukkan:

Keperluan VRAM 12GB membuka pintu kepada penggunaan pada kad pengguna RTX 3090 dan 4090, pencapaian kebolehcapaian yang signifikan.

Perbandingan kualiti lebih sukar untuk dikuantifikasikan. Laporan pengguna mencadangkan Kandinsky menghasilkan gerakan yang lebih konsisten daripada CogVideoX tetapi ketinggalan di belakang HunyuanVideo dalam fotorealisme. Model terdistil 16 langkah mengorbankan beberapa perincian halus untuk kelajuan, pertukaran yang berfungsi dengan baik untuk prototaip tetapi mungkin tidak memuaskan keperluan pengeluaran akhir.

Menjalankan Kandinsky Secara Tempatan

Projek ini menyediakan nod ComfyUI dan skrip kendiri. Aliran kerja teks-ke-video asas:

from kandinsky5 import Kandinsky5VideoLite
 
model = Kandinsky5VideoLite.from_pretrained("kandinskylab/Kandinsky-5.0-T2V-Lite")
model.enable_model_cpu_offload()  # Untuk kad 12GB
 
video = model.generate(
    prompt="Tasik gunung pada waktu subuh, kabus naik dari air yang tenang",
    num_frames=120,  # 5 saat pada 24fps
    guidance_scale=7.0,
    num_inference_steps=16
)
video.save("output.mp4")

Pemunggahan memori menggerakkan berat model antara CPU dan GPU semasa inferens. Ini menukar kelajuan untuk kebolehcapaian, membolehkan model yang lebih besar berjalan pada kad yang lebih kecil.

Hubungan Sberbank

Kandinsky Lab beroperasi di bawah Sber AI, bahagian kecerdasan buatan Sberbank, bank terbesar Rusia. Sokongan ini menjelaskan sumber besar di sebalik projek: latihan berbilang peringkat pada data proprietari, pembelajaran pengukuhan pascalatihan, dan usaha kejuruteraan untuk menjadikan saluran paip pengeluaran lengkap sumber terbuka.

Konteks geopolitik menambah kerumitan. Pembangun Barat mungkin menghadapi tekanan institusi untuk mengelakkan model asal Rusia. Lesen Apache 2.0 adalah jelas dari segi undang-undang, tetapi dasar organisasi berbeza-beza. Untuk pembangun individu dan studio yang lebih kecil, pengiraan lebih mudah: teknologi yang baik adalah teknologi yang baik.

Aplikasi Praktikal

Tempoh 10 saat dan keperluan perkakasan pengguna membuka kes penggunaan tertentu:

Melihat ke Hadapan

Kandinsky 5.0 mewakili trend yang lebih luas: jurang antara penjanaan video sumber terbuka dan tertutup semakin mengecil. Setahun yang lalu, model terbuka menghasilkan klip pendek, resolusi rendah dengan artifak yang jelas. Hari ini, model 2B parameter pada perkakasan pengguna menjana video HD 10 saat yang kelihatan mustahil pada tahun 2023.

Perlumbaan belum berakhir. Pemimpin sumber tertutup seperti Sora 2 dan Runway Gen-4.5 masih mendahului dalam kualiti, tempoh, dan kebolehkawalan. Tetapi lantainya semakin naik. Untuk banyak aplikasi, sumber terbuka kini cukup baik.

Kesimpulan

Kandinsky 5.0 mungkin tidak mendahului setiap penanda aras, tetapi ia berjaya di mana yang paling penting: menjalankan penjanaan video sebenar pada perkakasan yang dimiliki orang sebenar, di bawah lesen yang membenarkan penggunaan komersial sebenar. Dalam perlumbaan untuk mendemokratikkan video AI, pasukan Rusia baru sahaja menggerakkan garisan penamat lebih dekat.

Untuk pembangun yang meneroka penjanaan video sumber terbuka, Kandinsky 5.0 layak mendapat tempat dalam senarai pendek anda.