Tavus Phoenix-4: রিয়েল-টাইম ইমোশনাল ইন্টেলিজেন্স এআই ভিডিওর সাথে মিলিত হয়

ক্লিপ থেকে কথোপকথনে

AI ভিডিও স্থান resolution, duration এবং fidelity উপর একটি দৌড়ে আটকে আছে। Kling 3.0 নেটিভ 4K এগিয়ে নিয়ে গেছে। Seedance 2.0 হলিউড মামলা শুরু করেছে। Sora 2 ডিজনি চুক্তি পেয়েছে। সব চিত্তাকর্ষক, একই টেমপ্লেট অনুসরণ করে সব: প্রম্পট টাইপ করুন, অপেক্ষা করুন, ভিডিও পান।

Phoenix-4 এই প্যাটার্ন ভাঙে। 18 ফেব্রুয়ারি 2026 এ চালু করা হয়েছে, এটি প্রথম মডেল যা রিয়েল-টাইম মানব রেন্ডারিং ইমোশনাল বুদ্ধিমত্তা সহ জন্য ডিজাইন করা হয়েছে। 30 সেকেন্ডে 10-সেকেন্ডের ক্লিপ তৈরি করার পরিবর্তে, এটি sub-600 millisecond latency সহ 40 frames per second এ সম্পূর্ণ 1080p মুখ রেন্ডার করে।

এটি একটি ভিডিও জেনারেটর নয়। এটি একটি উপস্থিতি ইঞ্জিন।

স্থাপত্য: তিনটি মডেল সামঞ্জস্যে

Phoenix-4 কে প্রযুক্তিগতভাবে আকর্ষণীয় করে তোলে এটি তিন-উপাদান পাইপলাইন, প্রতিটি মানব যোগাযোগের একটি স্বতন্ত্র অংশ পরিচালনা করে।

Raven-1: ইমোশনাল উপলব্ধি

স্ট্যাকের প্রথম মডেল হল Raven-1, একটি উপলব্ধি মডিউল যা রিয়েল টাইমে ব্যবহারকারীর ভিডিও ফিড বিশ্লেষণ করে। এটি মুখের অভিব্যক্তি, কণ্ঠস্বরের টোন এবং কথোপকথন সংকেত সনাক্ত করে একটি ক্রমাগত ইমোশনাল অবস্থার মানচিত্র তৈরি করতে।

এটি সাধারণ সেন্টিমেন্ট বিশ্লেষণ নয়। Raven-1 মাইক্রো-এক্সপ্রেশন, বিরাম সময়কাল, বক্তৃতার গতি এবং দৃষ্টির দিক ট্র্যাক করে। আউটপুট একটি বহু-মাত্রিক ইমোশনাল ভেক্টর যা রেন্ডারিং পাইপলাইনে ফিড করা হয়।

Sparrow-1: কথোপকথন টাইমিং

দ্বিতীয় উপাদান, Sparrow-1, কথোপকথন AI-তে সবচেয়ে অমূল্যবান সমস্যা পরিচালনা করে: কখন কথা বলতে হবে তা জানা। বর্তমান ভয়েস সহায়কগুলি হয় আপনাকে বাধা দেয় বা খুব দীর্ঘ অপেক্ষা করে। Sparrow-1 একটি পূর্ণ-দ্বিমুখী স্থাপত্য ব্যবহার করে যা একই সাথে শোনে এবং কথা বলে, যেভাবে বাস্তব মানুষ কথা বলে।

এটি turn-taking সংকেত পূর্বাভাস দেয়, back-channel সংকেত পরিচালনা করে (মাথা নাড়ানো, "mm-hmm" সমতুল্য) এবং Raven-1 থেকে ইমোশনাল অবস্থার উপর ভিত্তি করে প্রতিক্রিয়া টাইমিং সামঞ্জস্য করে। যদি আপনি চিন্তা করার জন্য বিরাম দেন, এটি অপেক্ষা করে। যদি আপনি বিভ্রান্ত হওয়ার জন্য বিরাম দেন, এটি স্পষ্ট করে।

Phoenix-4: Gaussian-Diffusion রেন্ডারিং

রেন্ডারিং মডেল নিজেই একটি Gaussian-diffusion হাইব্রিড পদ্ধতি ব্যবহার করে। ঐতিহ্যবাহী diffusion মডেল রিয়েল-টাইম ব্যবহারের জন্য খুব ধীর। খাঁটি Gaussian পদ্ধতি diffusion এর বিস্তারিত গুণমান অভাব। Phoenix-4 উভয়কে একত্রিত করে: এটি বেস জ্যামিতি এবং রিয়েল-টাইম ট্র্যাকিংয়ের জন্য Gaussian splatting ব্যবহার করে, তারপর অভিব্যক্তি-সমালোচনামূলক অঞ্চলে (চোখ, মুখ, ভ্রু) লক্ষ্যযুক্ত পদ্ধতিতে diffusion পরিমার্জন প্রয়োগ করে।

ইমোশনাল কন্ট্রোল API

ডেভেলপারদের জন্য, সবচেয়ে ব্যবহারিক বৈশিষ্ট্য হল ইমোশনাল কন্ট্রোল API। AI কে সিদ্ধান্ত নিতে দেওয়ার পরিবর্তে, আপনি প্রোগ্রামেটিকভাবে লক্ষ্য আবেগ নির্দিষ্ট করতে পারেন।

{"emotion": "empathetic_concern", "intensity": 0.7, "transition_speed": "gradual", "micro_expressions": true}

API দশটিরও বেশি ইমোশনাল অবস্থা সমর্থন করে, যার মধ্যে আনন্দ, দুঃখ, রাগ, অবাক, ভয়, উত্তেজনা, কৌতূহল এবং সন্তুষ্টি রয়েছে, তীব্রতা নিয়ন্ত্রণ এবং মিশ্রণ সহ। একটি গ্রাহক সহায়তা অবতার কলারের কণ্ঠস্বরে হতাশা সনাক্ত করার সময় বন্ধুত্বপূর্ণ থেকে সহানুভূতিশীল এ পরিবর্তন করতে পারে।

এখানে three-model পাইপলাইন পরিশোধ করে। Raven-1 ব্যবহারকারীর ইমোশনাল অবস্থা সনাক্ত করে, ডেভেলপারের নিয়ম উপযুক্ত প্রতিক্রিয়া আবেগ নির্ধারণ করে এবং Phoenix-4 এটি রিয়েল টাইমে রেন্ডার করে।

দুই মিনিটে ডিজিটাল টুইন

সবচেয়ে চমকপ্রদ দাবিগুলির মধ্যে একটি: Phoenix-4 শুধুমাত্র দুই মিনিটের ফুটেজ থেকে একটি কাস্টম ডিজিটাল টুইন তৈরি করতে পারে। নিজের একটি সংক্ষিপ্ত ভিডিও আপলোড করুন, এবং সিস্টেম আপনার মুখের জ্যামিতি, অভিব্যক্তি পরিসীমা এবং কণ্ঠস্বর বৈশিষ্ট্য বের করার জন্য যথেষ্ট রিয়েল-টাইম অবতার তৈরি করতে।

গুণমান এখনও চলচ্চিত্র VFX স্তরে নেই। ডেমোতে, ডিজিটাল টুইনগুলি দ্রুত মাথার গতিবেগ এবং জটিল আলোকসজ্জা রূপান্তরের চারপাশে মাঝে মাঝে artifacts দেখায়। কিন্তু ভিডিও কল, গ্রাহক সহায়তা এবং বিক্রয় উপস্থাপনার জন্য, fidelity যথেষ্টের চেয়ে বেশি।

এটি AI ভিডিওর জন্য কেন গুরুত্বপূর্ণ

Phoenix-4 AI ভিডিওর জন্য একটি বিভাগ সম্প্রসারণ প্রতিনিধিত্ব করে। এখন পর্যন্ত, প্রতিটি প্রধান মডেল কন্টেন্ট তৈরিতে ফোকাস করেছে: ক্লিপ, বিজ্ঞাপন, স্বল্প চলচ্চিত্র, সোশ্যাল মিডিয়া পোস্ট তৈরি করা। Phoenix-4 যোগাযোগে ফোকাস করে, লাইভ ভিডিও ইন্টারঅ্যাকশনের অনেক বৃহত্তর বাজার।

ব্যবহারের ক্ষেত্রে বিবেচনা করুন:

রিয়েল-টাইম কথোপকথন ভিডিওর বাজার clip-generation বাজার থেকে মৌলিকভাবে আলাদা। এটি কম সৃজনশীল কিন্তু বেশি বাণিজ্যিকভাবে তাৎক্ষণিক। ব্যবসা যা বর্তমানে Zoom লাইসেন্স, কল সেন্টার কর্মীবাহিনী এবং বিক্রয় সক্ষমতার জন্য ভিডিও উৎপাদনে খরচ করে, তারা প্রথম লক্ষ্য।

প্রযুক্তিগত সীমাবদ্ধতা দেখতে

Phoenix-4 সীমাবদ্ধতা ছাড়া নয়। বর্তমান সংস্করণ একচেটিয়াভাবে একক-মুখ, সম্মুখীন পরিস্থিতির সাথে কাজ করে। বহু-ব্যক্তি কথোপকথন, সম্পূর্ণ-শরীর রেন্ডারিং এবং জটিল পটভূমি সমর্থিত নয়।

শুধুমাত্র ক্লাউড প্রয়োজনীয়তা মানে latency নেটওয়ার্ক গুণমানের উপর নির্ভর করে। Tavus সর্বোত্তম অবস্থায় sub-600ms end-to-end প্রতিবেদন করে, কিন্তু বাস্তব-বিশ্ব কর্মক্ষমতা পরিবর্তিত হবে। Latency-সংবেদনশীল অ্যাপ্লিকেশনগুলির জন্য যেমন লাইভ গ্রাহক কল, edge স্থাপনা শেষ পর্যন্ত প্রয়োজনীয় হবে।

বৃহত্তর চিত্র

Phoenix-4 একটি inflection point এ আসে। প্রি-রেন্ডার করা AI ভিডিও স্থান ভিড়, resolution, duration এবং শৈলীতে প্রতিযোগী ডজনখানেক মডেল সহ। কিন্তু রিয়েল-টাইম কথোপকথন ভিডিও প্রায় খালি। Tavus সীমিত সরাসরি প্রতিযোগিতার সম্মুখীন, বেশিরভাগ বিকল্প সম্পূর্ণ ইমোশনাল রেন্ডারিং সিস্টেমের চেয়ে সাধারণ lip-sync ওভারলে।

প্রশ্ন হল তিন-মডেল স্থাপত্য স্কেল করা যায় কিনা। Raven-1, Sparrow-1 এবং Phoenix-4 একসাথে চালানো উল্লেখযোগ্য compute প্রয়োজন। এখন, যে compute Tavus এর ক্লাউডে রেসিডেন্ট। এটিকে edge এর কাছাকাছি নিয়ে আসা বা ভোক্তা হার্ডওয়্যারের জন্য অপ্টিমাইজ করা সম্পূর্ণ নতুন স্থাপনার পরিস্থিতি খুলে দেবে।

বৃহত্তর AI ভিডিও শিল্পের জন্য, Phoenix-4 সংকেত করে পরবর্তী সীমান্ত শুধু ভাল ভিডিও নয়। এটি video as a real-time interface, যেখানে AI আপনার জন্য কন্টেন্ট তৈরি নয়, আপনার সাথে যোগাযোগ করছে।

Phoenix-4 Tavus API এর মাধ্যমে উপলব্ধ। ডিজিটাল টুইন তৈরির জন্য দুই মিনিটের ভিডিও আপলোড প্রয়োজন। মূল্য বিবরণ তাদের ডেভেলপার পোর্টালে উপলব্ধ।