CraftStory মডেল 2.0: কীভাবে দ্বিমুখী ডিফিউশন 5-মিনিটের AI ভিডিও আনলক করে

সময়কালের সমস্যা যা কেউ সমাধান করেনি

বর্তমান AI ভিডিও মডেলগুলির সাথে এটাই: তারা স্প্রিন্টার, ম্যারাথন দৌড়বিদ নয়। আট সেকেন্ডের চমৎকার ফুটেজ তৈরি করুন, তারপর এটি বাড়ানোর চেষ্টা করুন, এবং আপনি টেলিফোন খেলার ভিজ্যুয়াল সমতুল্য পাবেন। ত্রুটিগুলি জমা হয়। চরিত্রগুলি সরে যায়। পুরো জিনিসটি ভেঙে পড়ে।

ঐতিহ্যগত পদ্ধতি এভাবে কাজ করে: একটি অংশ তৈরি করুন, পরবর্তী অংশের জন্য শেষ কয়েকটি ফ্রেম প্রসঙ্গ হিসাবে ব্যবহার করুন, তাদের একসাথে সেলাই করুন। সমস্যা? ত্রুটিগুলি জমা হয়। প্রথম অংশে সামান্য অদ্ভুত হাতের অবস্থান পঞ্চম অংশে একটি অদ্ভুত দাগ হয়ে যায়।

দ্বিমুখী ডিফিউশন: স্থাপত্য উদ্ভাবন

CraftStory এর সমাধান সাধারণ পদ্ধতিকে উল্টে দেয়। ক্রমাগত তৈরি করা এবং সেরার আশা করার পরিবর্তে, তারা সম্পূর্ণ ভিডিও টাইমলাইন জুড়ে একই সাথে একাধিক ছোট ডিফিউশন ইঞ্জিন চালায়।

এটিকে একটি উপন্যাস লেখার বনাম এর রূপরেখা তৈরি করার মতো মনে করুন। ক্রমিক তৈরি করা হল পৃষ্ঠা এক লেখা, তারপর পৃষ্ঠা দুই, তারপর পৃষ্ঠা তিন, ফিরে যাওয়ার কোন ক্ষমতা ছাড়াই। CraftStory এর পদ্ধতি হল একটি রূপরেখা থাকার মতো যেখানে অধ্যায় দশ অধ্যায় দুইতে কী ঘটতে হবে তা জানাতে পারে।

মডেল 2.0 আসলে কীভাবে কাজ করে

বর্তমানে, CraftStory Model 2.0 একটি ভিডিও-টু-ভিডিও সিস্টেম। আপনি একটি চিত্র এবং একটি ড্রাইভিং ভিডিও প্রদান করেন, এবং এটি একটি আউটপুট তৈরি করে যেখানে আপনার চিত্রের ব্যক্তি ড্রাইভিং ভিডিও থেকে গতি সম্পাদন করে।

• ✓একটি রেফারেন্স চিত্র আপলোড করুন (আপনার বিষয়)
• ✓একটি ড্রাইভিং ভিডিও প্রদান করুন (গতি টেমপ্লেট)
• ✓মডেল পারফরম্যান্স সংশ্লেষণ করে
• ○টেক্সট-টু-ভিডিও ভবিষ্যত আপডেটে আসছে

লিপ-সিঙ্ক সিস্টেম আলাদা। এটিকে একটি স্ক্রিপ্ট বা অডিও ট্র্যাক দিন, এবং এটি মিলের মুখের নড়াচড়া তৈরি করে। একটি পৃথক অঙ্গভঙ্গি সারিবদ্ধকরণ অ্যালগরিদম বক্তৃতার ছন্দ এবং আবেগজনক স্বর সহ শরীরের ভাষা সিঙ্ক্রোনাইজ করে। ফলাফল? ভিডিও যেখানে ব্যক্তি আসলে সেই শব্দগুলি বলছে বলে মনে হয়, শুধু তাদের চোয়াল নাড়ানো নয়।

আউটপুট: আপনি আসলে কী পান

একটি কম-রেজোলিউশন 30-সেকেন্ড ক্লিপের জন্য তৈরি করতে প্রায় 15 মিনিট সময় লাগে। এটি কিছু মডেল যে প্রায় তাত্ক্ষণিক তৈরির অফার করে তার চেয়ে ধীর, কিন্তু ট্রেড-অফ হল সুসংগত দীর্ঘ-ফর্ম আউটপুট বরং সুন্দর খণ্ডগুলি যা সংযুক্ত হয় না।

এটি কেন সৃষ্টিকর্তাদের জন্য গুরুত্বপূর্ণ

5-মিনিটের বাধা নির্বিচারে নয়। এটি সেই সীমা যেখানে AI ভিডিও প্রকৃত বিষয়বস্তুর জন্য দরকারী হয়ে ওঠে।

বেশিরভাগ ব্যবসায়িক ভিডিও সামগ্রী 2-5 মিনিট পরিসরে থাকে। পণ্য ডেমো। প্রশিক্ষণ মডিউল। ব্যাখ্যাকারী ভিডিও। অভ্যন্তরীণ যোগাযোগ। এখানেই CraftStory পেশাদার ব্যবহারের ক্ষেত্রে প্রাসঙ্গিক হয়ে ওঠে।

প্রতিযোগিতামূলক ল্যান্ডস্কেপ

CraftStory Andrew Filev এর নেতৃত্বে $2 মিলিয়ন সিড ফান্ডিং সংগ্রহ করেছে, Wrike এবং Zencoder এর প্রতিষ্ঠাতা। এটি OpenAI এবং Google এ প্রবাহিত বিলিয়নের তুলনায় শালীন, কিন্তু প্রযুক্তি প্রমাণ করার জন্য যথেষ্ট।

টেক্সট-টু-ভিডিও ক্ষমতা উন্নয়নে রয়েছে। একবার এটি চালু হলে, মূল্য প্রস্তাব আরও স্পষ্ট হয়ে ওঠে: টেক্সটে একটি 5-মিনিটের ভিডিও বর্ণনা করুন, ফ্রেম-বাই-ফ্রেম গুণমান অবনতি ছাড়াই সুসংগত আউটপুট পান যা অন্যান্য সরঞ্জামগুলিকে জর্জরিত করে।

পরবর্তী কী

রোডম্যাপ বৈশিষ্ট্য▼

CraftStory বেশ কয়েকটি আসন্ন ক্ষমতা ঘোষণা করেছে:

• টেক্সট-টু-ভিডিও: ড্রাইভিং ভিডিও ছাড়াই প্রম্পট থেকে তৈরি করুন
• মুভিং ক্যামেরা: প্যান, জুম এবং ট্র্যাকিং শট
• ওয়াক-এন্ড-টক: বিষয়গুলি যা কথা বলার সময় স্থান দিয়ে চলে

দ্বিমুখী ডিফিউশন পদ্ধতি শুধু একটি CraftStory কৌশল নয়। এটি একটি প্যাটার্ন যা অন্যান্য দল সম্ভবত গ্রহণ করবে। একবার আপনি "ত্রুটিগুলি এগিয়ে জমা হয়" সমস্যা সমাধান করলে, দীর্ঘ তৈরি করা একটি মৌলিক বাধার পরিবর্তে একটি প্রকৌশল চ্যালেঞ্জ হয়ে ওঠে।

বড় ছবি

আমরা AI ভিডিওকে তার বিব্রতকর কিশোর পর্যায়ের মধ্য দিয়ে যেতে দেখছি। মডেলগুলি অত্যাশ্চর্য 10-সেকেন্ডের ক্লিপ তৈরি করতে পারে, কিন্তু তাদের মিনিট জুড়ে সুসংগতি বজায় রাখতে বলুন এবং তারা ভেঙে পড়ে। CraftStory এর দ্বিমুখী পদ্ধতি সেই সমস্যার একটি উত্তর।

আসল প্রশ্ন: কতক্ষণ পর্যন্ত এই কৌশল বড় খেলোয়াড়রা গ্রহণ করবে? OpenAI, Google এবং Runway সবার কাছে অনুরূপ আর্কিটেকচার বাস্তবায়নের সংস্থান রয়েছে। CraftStory এর সুবিধা হল কর্মরত দীর্ঘ-ফর্ম তৈরির সাথে বাজারে প্রথম।

এখনই, যদি আপনার মানব বিষয় সহ সামঞ্জস্যপূর্ণ বহু-মিনিট AI ভিডিও সামগ্রীর প্রয়োজন হয়, CraftStory শহরে একমাত্র খেলা হয়ে উঠেছে। সময়কালের বাধা এখনও ভাঙেনি, কিন্তু কেউ এতে একটি গুরুতর ফাটল ফেলেছে।