SkyReels V4: पहला AI मॉडल जो एक ही समय में देखता और सुनता है

ऑडियो हमेशा AI वीडियो का ब्लाइंड स्पॉट क्यों रहा है

अगर आपने कभी AI-जनरेटेड क्लिप में साउंड जोड़ने की कोशिश की है, तो आप इस परेशानी को जानते हैं। खिड़की पर पड़ती बारिश का वीडियो बनाइए, फिर उससे मेल खाता ऑडियो ट्रैक खोजिए। उसे टाइम कीजिए। एडजस्ट कीजिए। उम्मीद कीजिए कि वह अजीब न लगे।

मुख्य समस्या आर्किटेक्चर की है। Kling 3.0 या Runway Gen-4.5 जैसे मॉडल पहले विज़ुअल इंजन के रूप में बनाए गए थे। जहां ऑडियो सपोर्ट मौजूद है, वहां वह अलग पाइपलाइन के जरिए चलता है, जो बाद में सिंक करने की कोशिश करती है।

SkyReels V4 वास्तव में कैसे काम करता है

Skywork AI (Kunlun Inc. का एक रिसर्च डिवीजन) ने कुछ ऐसा बनाया है जिसे वे ड्यूल-स्ट्रीम Multimodal Diffusion Transformer, या MMDiT कहते हैं। इसे एक ही नर्वस सिस्टम साझा करने वाले दो विशेषज्ञ दिमागों की तरह समझें।

दोनों ब्रांच Multimodal Large Language Model पर बने एक टेक्स्ट एन्कोडर को साझा करते हैं। यही साझा समझ कारण है कि "glass shattering on marble floor in slow motion" जैसा प्रॉम्प्ट ऐसे ऑडियो एक्सेंट बनाता है जो विज़ुअल इम्पैक्ट के लगभग 40ms के भीतर आते हैं। यह स्वाभाविक महसूस होने के लिए पर्याप्त रूप से सटीक है।

Seedance या Kling से इसे अलग क्या बनाता है

ByteDance का Seedance 2.0 और Kuaishou का Kling 3.0, दोनों ऑडियो सपोर्ट करते हैं, लेकिन उनका तरीका मूल रूप से अलग है। वे पहले वीडियो बनाते हैं, फिर उससे मेल खाता ऑडियो तैयार करने के लिए दूसरा मॉडल चलाते हैं। इस क्रमिक तरीके में ऑडियो हमेशा तैयार फ्रेम्स पर प्रतिक्रिया देता है, उनके साथ मिलकर कभी नहीं बनता।

SkyReels V4 के ड्यूल-स्ट्रीम आर्किटेक्चर का मतलब है:

• ✓ऑडियो और विज़ुअल एलिमेंट शुरुआत से ही सेमांटिक रूप से संरेखित होते हैं
• ✓बोलते चेहरों में लिप-सिंक व्यंजनों पर सटीक बैठता है, उनके बाद नहीं
• ✓पर्यावरणीय ध्वनियां सामग्री के गुणों से मेल खाती हैं (धातु बनाम लकड़ी बनाम कांच)
• ✓टाइमिंग ड्रिफ्ट ठीक करने के लिए किसी पोस्ट-प्रोसेसिंग की जरूरत नहीं होती

लैंडस्केप देखते समय अंतर सूक्ष्म लगता है, लेकिन किसी व्यक्ति को बोलते या किसी वस्तु को सतह के साथ इंटरैक्ट करते देखते समय यह नाटकीय हो जाता है।

ओपन-सोर्स का सवाल

SkyReels के पिछले वर्जन (V1 से V3) HuggingFace और GitHub पर डाउनलोड करने योग्य वेट्स के साथ पूरी तरह ओपन-सोर्स थे। V4 फिलहाल skyreels.ai पर एक फ्री टियर के साथ सीमित प्रीव्यू में है, लेकिन पूरे वेट्स अभी जारी नहीं किए गए हैं।

ओपन-सोर्स समुदाय के लिए इसे करीब से देखना उचित है। अगर Skywork अपने ऐतिहासिक पैटर्न का पालन करता है, तो V4 वेट्स अंततः HuggingFace पर आ सकते हैं। अगर आपको आज ओपन-सोर्स ऑडियो-वीडियो जनरेशन चाहिए, तो सबसे निकट विकल्प SkyReels V3 और एक अलग ऑडियो मॉडल हैं।

लीडरबोर्ड में SkyReels V4 की स्थिति

Artificial Analysis Video Arena पर (जो ब्लाइंड ह्यूमन प्रेफरेंस वोटिंग का उपयोग करता है), SkyReels V4 वर्तमान में टेक्स्ट-टू-वीडियो के लिए 1,244 Elo पर रैंक करता है। यह इसे Kling 3.0 (1,243) के लगभग बराबर रखता है और मौजूदा लीडर, Alibaba के HappyHorse-1.0 (1,347) से पीछे रखता है।

SkyReels V4 और HappyHorse के बीच विज़ुअल क्वालिटी का अंतर वास्तविक है। लेकिन टॉप 5 में SkyReels ही एकमात्र मॉडल है जो ऑडियो नेटिव रूप से जनरेट करता है। अगर आपके वर्कफ़्लो में साउंड चाहिए, तो यह आर्किटेक्चरल लाभ 100-पॉइंट Elo अंतर से अधिक मायने रखता है।

क्रिएटर्स के लिए इसका क्या अर्थ है

बड़ी तस्वीर: ऑडियो अब वैकल्पिक नहीं है

SkyReels V4 कोई अलग-थलग प्रयोग नहीं है। हमने ByteDance के Seedance 1.5 Pro द्वारा ऑडियो-विज़ुअल जनरेशन पेश किए जाने और AI वीडियो के साइलेंट एरा से बाहर आने की व्यापक प्रवृत्ति को कवर किया था। SkyReels V4 यह प्रमाण जोड़ता है कि इसे आर्किटेक्चर स्तर पर किया जा सकता है, न कि पोस्ट-प्रोसेसिंग ट्रिक के रूप में।

निहितार्थ स्पष्ट है: 2026 के अंत तक, नेटिव ऑडियो के बिना कोई भी AI वीडियो मॉडल अधूरा लगेगा। सवाल यह नहीं है कि यह मानक बनेगा या नहीं, बल्कि यह है कि कितनी तेजी से बनेगा।

स्रोत

• SkyReels V4 रिसर्च टीम: SkyReels V4 सिंक्रनाइज़्ड… के साथ 1080p तक रिज़ॉल्यूशन, 32 FPS और 15 सेकंड की अवधि सपोर्ट करता है (SkyReels V4 Research Team)