SkyReels V4: একই সময়ে দেখে এবং শোনে এমন প্রথম AI মডেল

কেন অডিও সবসময় AI ভিডিওর দুর্বল দিক ছিল

আপনি যদি কখনও AI-তৈরি ক্লিপে শব্দ যোগ করার চেষ্টা করে থাকেন, তাহলে ঝামেলাটা জানেন। জানালায় বৃষ্টি পড়ার একটি ভিডিও তৈরি করুন, তারপর মিলিয়ে নেওয়ার মতো একটি অডিও ট্র্যাক খুঁজুন। সময় মিলান। সমন্বয় করুন। আশা করুন, ব্যাপারটি অস্বাভাবিক না লাগে।

মূল সমস্যাটি স্থাপত্যগত। Kling 3.0 বা Runway Gen-4.5-এর মতো মডেল প্রথমে ভিজ্যুয়াল ইঞ্জিন হিসেবে তৈরি হয়েছিল। অডিও সমর্থন থাকলেও, তা একটি আলাদা পাইপলাইনের মাধ্যমে চলে, যা পরে সিঙ্ক করার চেষ্টা করে।

SkyReels V4 আসলে কীভাবে কাজ করে

Skywork AI (Kunlun Inc.-এর একটি গবেষণা বিভাগ) এমন কিছু তৈরি করেছে যাকে তারা dual-stream Multimodal Diffusion Transformer, বা MMDiT বলে। এটিকে একটি স্নায়ুতন্ত্র ভাগ করে নেওয়া দুই বিশেষজ্ঞ মস্তিষ্ক হিসেবে ভাবুন।

দুই শাখাই একটি Multimodal Large Language Model-এর উপর নির্মিত টেক্সট এনকোডার ভাগ করে। এই যৌথ বোঝাপড়ার কারণেই "glass shattering on marble floor in slow motion"-এর মতো একটি প্রম্পট অডিও অ্যাকসেন্ট তৈরি করে, যা ভিজ্যুয়াল প্রভাবের প্রায় 40ms-এর মধ্যে পৌঁছায়। স্বাভাবিক অনুভব করার জন্য এটি যথেষ্ট নির্ভুল।

Seedance বা Kling থেকে কীভাবে এটি আলাদা

ByteDance-এর Seedance 2.0 এবং Kuaishou-এর Kling 3.0, দুটিই অডিও সমর্থন করে, তবে তাদের পদ্ধতি মৌলিকভাবে ভিন্ন। তারা আগে ভিডিও তৈরি করে, তারপর মিলিয়ে নেওয়া অডিও তৈরির জন্য দ্বিতীয় একটি মডেল চালায়। এই ধারাবাহিক পদ্ধতির অর্থ হলো অডিও সবসময় সম্পন্ন ফ্রেমের প্রতিক্রিয়া দেখায়, সেগুলোর সঙ্গে কখনও সহ-সৃষ্টি করে না।

SkyReels V4-এর ডুয়াল-স্ট্রিম স্থাপত্যের অর্থ:

• ✓শুরু থেকেই অডিও এবং ভিজ্যুয়াল উপাদান অর্থগতভাবে সামঞ্জস্যপূর্ণ থাকে
• ✓কথা বলা মুখের লিপ-সিঙ্ক ব্যঞ্জনধ্বনির সঙ্গে মেলে, পরে নয়
• ✓পরিবেশের শব্দ উপকরণের বৈশিষ্ট্যের সঙ্গে মেলে (ধাতু বনাম কাঠ বনাম কাচ)
• ✓টাইমিং ড্রিফট ঠিক করতে পোস্ট-প্রসেসিংয়ের প্রয়োজন হয় না

ল্যান্ডস্কেপ দেখার সময় পার্থক্যটি সূক্ষ্ম, কিন্তু একজন ব্যক্তিকে কথা বলতে দেখা বা কোনো বস্তুকে পৃষ্ঠের সঙ্গে মিথস্ক্রিয়া করতে দেখার সময় নাটকীয়।

ওপেন-সোর্স প্রশ্ন

আগের SkyReels সংস্করণগুলো (V1 থেকে V3) HuggingFace ও GitHub-এ ডাউনলোডযোগ্য ওয়েটসহ পুরোপুরি ওপেন-সোর্স ছিল। V4 বর্তমানে skyreels.ai-এ একটি বিনামূল্যের টিয়ারসহ সীমিত প্রিভিউতে আছে, তবে সম্পূর্ণ ওয়েট এখনও প্রকাশ করা হয়নি।

ওপেন-সোর্স কমিউনিটির জন্য এটি কাছ থেকে পর্যবেক্ষণ করার মতো বিষয়। Skywork যদি তাদের ঐতিহাসিক ধারা অনুসরণ করে, তবে V4-এর ওয়েট শেষ পর্যন্ত HuggingFace-এ আসা উচিত। আজই যদি ওপেন-সোর্স অডিও-ভিডিও জেনারেশন প্রয়োজন হয়, সবচেয়ে কাছের বিকল্প হলো SkyReels V3 এবং একটি আলাদা অডিও মডেল।

লিডারবোর্ডে SkyReels V4 কোথায় আছে

Artificial Analysis Video Arena-তে (যা ব্লাইন্ড মানব পছন্দভিত্তিক ভোট ব্যবহার করে), SkyReels V4 বর্তমানে text-to-video-এর জন্য 1,244 Elo-তে অবস্থান করছে। এটি Kling 3.0 (1,243)-এর সঙ্গে প্রায় সমানে এবং বর্তমান শীর্ষস্থানীয় Alibaba-এর HappyHorse-1.0 (1,347)-এর পেছনে।

SkyReels V4 এবং HappyHorse-এর মধ্যে ভিজ্যুয়াল মানের ব্যবধান বাস্তব। তবে শীর্ষ 5-এর মধ্যে SkyReels-ই একমাত্র মডেল যা নেটিভভাবে অডিও তৈরি করে। আপনার কর্মপ্রবাহে যদি শব্দের প্রয়োজন হয়, তবে সেই স্থাপত্যগত সুবিধাটি 100-পয়েন্টের Elo পার্থক্যের চেয়ে বেশি গুরুত্বপূর্ণ।

নির্মাতাদের জন্য এর অর্থ কী

বড় চিত্র: অডিও আর ঐচ্ছিক নয়

SkyReels V4 কোনো বিচ্ছিন্ন পরীক্ষা নয়। আমরা ByteDance-এর Seedance 1.5 Pro-এর অডিও-ভিজ্যুয়াল জেনারেশন প্রবর্তন এবং নির্বাক যুগ থেকে AI ভিডিওর বেরিয়ে আসার বৃহত্তর প্রবণতা নিয়ে লিখেছি। SkyReels V4 যা যোগ করে তা হলো প্রমাণ যে এটি পোস্ট-প্রসেসিং কৌশল হিসেবে নয়, স্থাপত্য পর্যায়ে করা সম্ভব।

ইঙ্গিতটি স্পষ্ট: 2026-এর শেষ নাগাদ নেটিভ অডিওবিহীন যেকোনো AI ভিডিও মডেল অসম্পূর্ণ মনে হবে। প্রশ্ন এটি মানদণ্ড হবে কি না নয়, বরং কত দ্রুত হবে।

উৎসসমূহ

• SkyReels V4 Research Team: SkyReels V4 synchronized… সহ 1080p রেজোলিউশন, 32 FPS এবং 15-সেকেন্ড সময়কাল সমর্থন করে (SkyReels V4 Research Team)