SkyReels V4: Model AI Pertama yang Melihat dan Mendengar pada Masa yang Sama

Mengapa Audio Sentiasa Menjadi Titik Buta Video AI

Jika anda pernah mencuba menambah bunyi pada klip yang dijana AI, anda tahu kepayahannya. Hasilkan video hujan menimpa tingkap, kemudian cari trek audio yang sepadan. Selaraskan masanya. Sesuaikan. Doa supaya ia tidak terasa janggal.

Masalah teras adalah seni bina. Model seperti Kling 3.0 atau Runway Gen-4.5 dibina sebagai enjin visual terlebih dahulu. Sokongan audio, jika ada, berjalan melalui saluran berasingan yang cuba menyegerak selepas itu.

Bagaimana Sebenarnya SkyReels V4 Berfungsi

Skywork AI (sebuah bahagian penyelidikan Kunlun Inc.) membina apa yang mereka panggil Multimodal Diffusion Transformer dual-stream, atau MMDiT. Bayangkan ia sebagai dua otak pakar yang berkongsi satu sistem saraf.

Kedua-dua cabang berkongsi pengekod teks yang dibina di atas Multimodal Large Language Model. Pemahaman bersama inilah sebabnya arahan seperti "kaca pecah di lantai marmar dalam slow motion" menghasilkan aksen audio yang jatuh dalam lingkungan 40ms dari kesan visual. Itu cukup rapat untuk terasa semula jadi.

Apa yang Membezakannya daripada Seedance atau Kling

Seedance 2.0 ByteDance dan Kling 3.0 Kuaishou kedua-duanya menyokong audio, tetapi pendekatan mereka berbeza secara asasnya. Mereka menjana video dahulu, kemudian menjalankan model kedua untuk menghasilkan audio yang sepadan. Pendekatan berturutan ini bermakna audio sentiasa bertindak balas terhadap bingkai siap, tidak pernah dicipta bersama-sama.

Seni bina dual-stream SkyReels V4 bermaksud:

• ✓Elemen audio dan visual diselaraskan secara semantik dari mula
• ✓Lip-sync pada watak yang bercakap jatuh tepat pada konsonan, bukan selepasnya
• ✓Bunyi persekitaran sepadan dengan sifat bahan (logam, kayu atau kaca)
• ✓Tiada post-processing diperlukan untuk membetulkan ralat masa

Perbezaannya halus apabila menonton landskap, tetapi dramatik apabila menonton orang bercakap atau objek berinteraksi dengan permukaan.

Persoalan Sumber Terbuka

Versi SkyReels terdahulu (V1 hingga V3) sepenuhnya sumber terbuka dengan weights yang boleh dimuat turun di HuggingFace dan GitHub. V4 kini berada dalam pratonton terhad dengan tahap percuma di skyreels.ai, tetapi weights penuh belum dilepaskan.

Untuk komuniti sumber terbuka, ini patut diperhatikan dengan teliti. Jika Skywork mengikut corak sejarah mereka, weights V4 sepatutnya akan muncul di HuggingFace akhirnya. Jika anda perlu penjanaan audio-video sumber terbuka hari ini, pilihan terdekat ialah SkyReels V3 ditambah model audio berasingan.

Kedudukan SkyReels V4 di Papan Pendahulu

Di Artificial Analysis Video Arena (yang menggunakan undian buta berdasarkan keutamaan manusia), SkyReels V4 kini berada di kedudukan Elo 1,244 untuk text-to-video. Itu menjadikannya hampir seri dengan Kling 3.0 (1,243) dan di belakang peneraju semasa, HappyHorse-1.0 Alibaba (1,347).

Jurang kualiti visual antara SkyReels V4 dan HappyHorse adalah nyata. Tetapi SkyReels ialah satu-satunya model dalam 5 teratas yang menjana audio secara native. Jika aliran kerja anda memerlukan bunyi, kelebihan seni bina itu lebih penting daripada perbezaan 100 mata Elo.

Apa Maknanya untuk Pencipta

Gambaran Lebih Besar: Audio Bukan Lagi Pilihan

SkyReels V4 bukan eksperimen terpencil. Kami telah membincangkan Seedance 1.5 Pro ByteDance yang memperkenalkan penjanaan audio-visual, dan trend lebih luas video AI keluar dari era senyap. Apa yang ditambah SkyReels V4 ialah bukti bahawa anda boleh melakukan ini pada tahap seni bina, bukan sebagai helah post-processing.

Implikasinya jelas. Menjelang akhir 2026, mana-mana model video AI tanpa audio native akan terasa tidak lengkap. Persoalannya bukan sama ada ini menjadi piawai, tetapi seberapa cepat.