SkyReels V4: پہلا AI ماڈل جو ایک ہی وقت میں دیکھتا اور سنتا ہے

آڈیو ہمیشہ AI ویڈیو کا کمزور پہلو کیوں رہا ہے

اگر آپ نے کبھی AI سے بنے کلپ میں آواز شامل کرنے کی کوشش کی ہے تو آپ اس مشکل کو جانتے ہیں۔ کھڑکی پر برستے ہوئے بارش کی ویڈیو بنائیں، پھر موزوں آڈیو ٹریک تلاش کریں۔ اس کی ٹائمنگ ملائیں۔ اسے ایڈجسٹ کریں۔ دعا کریں کہ یہ غیر فطری محسوس نہ ہو۔

بنیادی مسئلہ آرکیٹیکچرل ہے۔ Kling 3.0 یا Runway Gen-4.5 جیسے ماڈلز پہلے بصری انجن کے طور پر بنائے گئے تھے۔ جہاں آڈیو سپورٹ موجود ہوتی ہے، وہ ایک علیحدہ پائپ لائن سے گزرتی ہے جو بعد میں ہم وقت ہونے کی کوشش کرتی ہے۔

SkyReels V4 حقیقت میں کیسے کام کرتا ہے

Skywork AI (Kunlun Inc. کا تحقیقی شعبہ) نے ایسی چیز بنائی ہے جسے وہ ڈوئل-اسٹریم ملٹی موڈل ڈفیوژن ٹرانسفارمر، یا MMDiT کہتے ہیں۔ اسے ایک اعصابی نظام مشترک رکھنے والے دو ماہر دماغوں کی طرح سمجھیں۔

دونوں شاخیں Multimodal Large Language Model پر بنے ایک مشترکہ ٹیکسٹ اینکوڈر کو استعمال کرتی ہیں۔ یہی مشترکہ فہم اس بات کی وجہ ہے کہ "glass shattering on marble floor in slow motion" جیسا پرامپٹ آڈیو ایکسنٹس پیدا کرتا ہے جو بصری اثر کے تقریباً 40ms کے اندر آتے ہیں۔ یہ اتنا درست ہے کہ فطری محسوس ہو۔

Seedance یا Kling سے اسے کیا مختلف بناتا ہے

ByteDance کا Seedance 2.0 اور Kuaishou کا Kling 3.0 دونوں آڈیو سپورٹ کرتے ہیں، مگر ان کا طریقہ بنیادی طور پر مختلف ہے۔ وہ پہلے ویڈیو بناتے ہیں، پھر موزوں آڈیو بنانے کے لیے دوسرا ماڈل چلاتے ہیں۔ اس ترتیب وار طریقے کا مطلب ہے کہ آڈیو ہمیشہ مکمل فریمز پر ردعمل دیتی ہے، ان کے ساتھ مشترکہ تخلیق نہیں کرتی۔

SkyReels V4 کے ڈوئل-اسٹریم آرکیٹیکچر کا مطلب ہے:

• ✓آڈیو اور بصری عناصر ابتدا ہی سے معنوی طور پر ہم آہنگ ہوتے ہیں
• ✓بات کرتے چہروں میں لپ سنک حروف صحیح پر آتی ہے، ان کے بعد نہیں
• ✓ماحولیاتی آوازیں مواد کی خصوصیات سے مطابقت رکھتی ہیں (دھات بمقابلہ لکڑی بمقابلہ شیشہ)
• ✓ٹائمنگ میں انحراف درست کرنے کے لیے پوسٹ پروسیسنگ کی ضرورت نہیں

منظرنامہ دیکھتے وقت فرق معمولی لگتا ہے، مگر کسی شخص کو بولتے یا کسی چیز کو سطح کے ساتھ تعامل کرتے دیکھتے وقت یہ ڈرامائی ہوتا ہے۔

اوپن سورس کا سوال

SkyReels کے پچھلے ورژنز (V1 سے V3 تک) HuggingFace اور GitHub پر ڈاؤن لوڈ کے قابل ویٹس کے ساتھ مکمل طور پر اوپن سورس تھے۔ V4 اس وقت skyreels.ai پر مفت درجے کے ساتھ محدود پری ویو میں ہے، لیکن مکمل ویٹس ابھی جاری نہیں کیے گئے۔

اوپن سورس کمیونٹی کے لیے اس پر گہری نظر رکھنا اہم ہے۔ اگر Skywork اپنے تاریخی انداز پر عمل کرتا ہے تو V4 ویٹس بالآخر HuggingFace پر آ جائیں گے۔ اگر آپ کو آج اوپن سورس آڈیو-ویڈیو جنریشن درکار ہے تو قریب ترین متبادل SkyReels V3 کے ساتھ ایک علیحدہ آڈیو ماڈل ہیں۔

لیڈر بورڈ میں SkyReels V4 کی جگہ

Artificial Analysis Video Arena پر (جو گمنام انسانی ترجیحی ووٹنگ استعمال کرتا ہے)، SkyReels V4 اس وقت ٹیکسٹ ٹو ویڈیو کے لیے 1,244 Elo کے ساتھ رینک کرتا ہے۔ یہ اسے Kling 3.0 (1,243) کے تقریباً برابر رکھتا ہے اور موجودہ رہنما، Alibaba کے HappyHorse-1.0 (1,347) سے پیچھے۔

SkyReels V4 اور HappyHorse کے درمیان بصری معیار کا فرق حقیقی ہے۔ مگر SkyReels ٹاپ 5 میں واحد ماڈل ہے جو مقامی طور پر آڈیو بناتا ہے۔ اگر آپ کے ورک فلو میں آواز ضروری ہے تو یہ آرکیٹیکچرل برتری 100 پوائنٹ کے Elo فرق سے زیادہ اہم ہے۔

تخلیق کاروں کے لیے اس کا کیا مطلب ہے

بڑی تصویر: آڈیو اب اختیاری نہیں رہی

SkyReels V4 کوئی الگ تھلگ تجربہ نہیں ہے۔ ہم نے ByteDance کے Seedance 1.5 Pro کی آڈیو-ویژول جنریشن متعارف کروانے کی کوریج کی تھی، اور خاموش دور سے نکلتی AI ویڈیو کے وسیع تر رجحان کا بھی جائزہ لیا تھا۔ SkyReels V4 جو اضافہ کرتا ہے وہ اس بات کا ثبوت ہے کہ آپ یہ کام آرکیٹیکچر کی سطح پر کر سکتے ہیں، صرف پوسٹ پروسیسنگ کی چال کے طور پر نہیں۔

نتیجہ واضح ہے: 2026 کے اختتام تک، مقامی آڈیو کے بغیر کوئی بھی AI ویڈیو ماڈل نامکمل محسوس ہوگا۔ سوال یہ نہیں کہ آیا یہ معیار بنے گا، بلکہ یہ کتنی تیزی سے ہوگا۔

ذرائع

• SkyReels V4 Research Team: SkyReels V4 1080p تک ریزولوشن، 32 FPS اور ہم وقت آواز کے ساتھ 15 سیکنڈ کی مدت سپورٹ کرتا ہے… (SkyReels V4 Research Team)