वीडियो लैंग्वेज मॉडल्स: LLMs और AI एजेंट्स के बाद अगला पड़ाव

हमने पिछले कुछ साल AI को पढ़ना, लिखना और जटिल समस्याओं के माध्यम से सोचना सिखाने में बिताए हैं। लेकिन बात यह है: यह सब डिजिटल दुनिया में होता है। ChatGPT आपके लिए किसी जंगल में टहलने के बारे में एक कविता लिख सकता है, लेकिन उसे यह अंदाज़ा नहीं है कि किसी गिरे हुए लट्ठे को पार करने या किसी नीची शाखा के नीचे झुकने में असल में कैसा महसूस होता है।

वर्ल्ड मॉडल्स इसे बदलने के लिए यहाँ हैं।

वीडियो लैंग्वेज मॉडल्स क्या हैं?

इन्हें विज़न-लैंग्वेज मॉडल्स के विकास के रूप में सोचें, लेकिन एक महत्वपूर्ण जोड़ के साथ: समय संबंधी समझ (temporal understanding)। जहाँ एक मानक VLM एक एकल इमेज को देखता है और उसके बारे में सवालों के जवाब देता है, वहीं एक वीडियो लैंग्वेज मॉडल दृश्यों के अनुक्रम को देखता है और भौतिक दुनिया को नियंत्रित करने वाले नियमों को सीखता है।

यह सिर्फ अकादमिक उत्सुकता नहीं है। इसके व्यावहारिक प्रभाव आश्चर्यजनक हैं।

जब किसी रोबोट को कॉफ़ी कप उठाना होता है, तो वह केवल किसी इमेज में "कप" को पहचान कर काम नहीं चला सकता। उसे यह समझने की आवश्यकता है:

• ✓धकेलने या उठाने पर वस्तुएँ कैसा व्यवहार करती हैं
• ✓जब तरल पदार्थ छलकते हैं तो क्या होता है
• ✓उसकी अपनी हरकतें दृश्य को कैसे प्रभावित करती हैं
• ✓कौन सी क्रियाएँ भौतिक रूप से संभव हैं और कौन सी असंभव

यहाँ वर्ल्ड मॉडल्स काम आते हैं।

सिम्यूलेशन से एक्शन तक

अवधारणा बहुत सटीक है: भौतिक नियमों को हार्डकोड करने के बजाय, आप AI को लाखों घंटों के ऐसे वीडियो पर प्रशिक्षित करते हैं जो दिखाते हैं कि दुनिया वास्तव में कैसे काम करती है। मॉडल समीकरणों से नहीं, बल्कि अवलोकन से गुरुत्वाकर्षण, घर्षण, वस्तु स्थायित्व (object permanence) और कार्य-कारण संबंध सीखता है।

NVIDIA का Cosmos इस दिशा में सबसे महत्वाकांक्षी प्रयासों में से एक है। उनका proprietary वर्ल्ड मॉडल विशेष रूप से रोबोटिक्स अनुप्रयोगों के लिए डिज़ाइन किया गया है, जहाँ भौतिक वास्तविकता को समझना वैकल्पिक नहीं है। यह उनके अस्तित्व के लिए आवश्यक है।

Google DeepMind का Genie 3 एक अलग दृष्टिकोण अपनाता है, जो इंटरैक्टिव वर्ल्ड जनरेशन पर ध्यान केंद्रित करता है जहाँ मॉडल को वीडियो गेम वातावरण की तरह "खेला" जा सकता है।

PAN प्रयोग

मोहम्मद बिन जायद विश्वविद्यालय के शोधकर्ताओं ने हाल ही में PAN का अनावरण किया है, जो एक सामान्य वर्ल्ड मॉडल है और नियंत्रित सिम्यूलेशन में "विचार प्रयोग" (thought experiments) करता है।

मुख्य नवाचार वर्ल्ड मॉडलिंग को एक जनरेटिव वीडियो समस्या के रूप में देखना है। भौतिकी को स्पष्ट रूप से प्रोग्राम करने के बजाय, मॉडल ऐसे वीडियो विस्तार उत्पन्न करना सीखता है जो भौतिक नियमों का सम्मान करते हैं। एक शुरुआती दृश्य और एक प्रस्तावित कार्रवाई दिए जाने पर, यह "कल्पना" कर सकता है कि आगे क्या होगा।

रोबोटिक्स के लिए इसके गहरे मायने हैं। एक ह्यूमनॉइड रोबोट कॉफ़ी कप तक पहुँचने से पहले, सैकड़ों सिम्युलेटेड प्रयास चला सकता है, यह सीखते हुए कि कौन से कोण काम करते हैं और कौन से फर्श पर कॉफ़ी गिराने के साथ समाप्त होते हैं।

एक अरब रोबोट का भविष्य

नाटक के लिए ये मनमाने आंकड़े नहीं दिए गए हैं। उद्योग के अनुमान वास्तव में एक ऐसे भविष्य की ओर इशारा करते हैं जहाँ ह्यूमनॉइड रोबोट स्मार्टफोन की तरह आम हो जाएँगे। और इनमें से हर एक को इंसानों के साथ सुरक्षित रूप से काम करने के लिए वर्ल्ड मॉडल्स की आवश्यकता होगी।

अनुप्रयोग ह्यूमनॉइड रोबोटों से भी आगे तक फैले हैं:

जहाँ वीडियो जनरेशन वर्ल्ड अंडरस्टैंडिंग से मिलता है

यदि आप AI वीडियो जनरेशन को फॉलो कर रहे हैं, तो आपने यहाँ कुछ समानताएँ देखी होंगी। Sora 2 और Veo 3 जैसे टूल्स पहले से ही आश्चर्यजनक रूप से यथार्थवादी वीडियो बनाते हैं। क्या वे भी वर्ल्ड मॉडल्स नहीं हैं?

हाँ भी और नहीं भी।

OpenAI ने Sora को स्पष्ट रूप से वर्ल्ड सिम्यूलेशन क्षमताओं वाले मॉडल के रूप में पेश किया है। मॉडल स्पष्ट रूप से भौतिकी के बारे में कुछ समझता है। किसी भी Sora जनरेशन को देखें और आपको यथार्थवादी लाइटिंग, तर्कसंगत गति और अधिकांशतः सही व्यवहार करने वाली वस्तुएं दिखाई देंगी।

लेकिन तर्कसंगत दिखने वाले वीडियो बनाने और भौतिक कार्य-कारण संबंध (physical causality) को वास्तव में समझने के बीच एक बड़ा अंतर है। वर्तमान वीडियो जनरेटर विजुअल रियलिज्म के लिए अनुकूलित हैं। वर्ल्ड मॉडल्स भविष्यवाणात्मक सटीकता के लिए अनुकूलित हैं।

हेलुसिनेशन की समस्या

यहाँ एक कड़वा सच है: वर्ल्ड मॉडल्स भी उसी हेलुसिनेशन की समस्याओं से ग्रस्त हैं जो LLMs को परेशान करती हैं।

जब ChatGPT आत्मविश्वास से कोई झूठा तथ्य बताता है, तो यह झुंझलाहट भरा होता है। जब कोई वर्ल्ड मॉडल आत्मविश्वास से भविष्यवाणी करता है कि एक रोबोट दीवार के आर-पार चल सकता है, तो यह खतरनाक है।

वर्तमान प्रणालियाँ लंबे अनुक्रमों में खराब होती जाती हैं, वे भविष्य में जितनी दूर का अनुमान लगाती हैं, उतनी ही सामंजस्य खोती जाती हैं। यह एक मौलिक तनाव पैदा करता है: सबसे उपयोगी भविष्यवाणियाँ दीर्घकालिक होती हैं, लेकिन वे सबसे कम विश्वसनीय भी होती हैं।

शोधकर्ता इस समस्या पर कई कोणों से हमला कर रहे हैं। कुछ बेहतर ट्रेनिंग डेटा पर ध्यान केंद्रित करते हैं। अन्य ऐसे आर्किटेक्चरल नवाचारों पर काम करते हैं जो दृश्य स्थिरता बनाए रखते हैं। फिर भी अन्य लोग हाइब्रिड दृष्टिकोण की वकालत करते हैं जो सीखे गए वर्ल्ड मॉडल्स को स्पष्ट भौतिक बाधाओं के साथ मिलाते हैं।

Qwen 3-VL की सफलता

विज़न-लैंग्वेज के मोर्चे पर, अलीबाबा का Qwen 3-VL ओपन-सोर्स मॉडलों के लिए वर्तमान अत्याधुनिक तकनीक का प्रतिनिधित्व करता है।

जो बात Qwen 3-VL को विशेष रूप से दिलचस्प बनाती है, वह है इसकी "एजेंटिक" (agentic) क्षमताएं। मॉडल ग्राफिकल इंटरफेस चला सकता है, UI तत्वों को पहचान सकता है, उनके कार्यों को समझ सकता है और टूल इनवोकेशन के माध्यम से वास्तविक दुनिया के कार्यों को पूरा कर सकता है।

यह समझ और कार्रवाई के बीच का वह पुल है जिसकी वर्ल्ड मॉडल्स को आवश्यकता है।

क्रिएटर्स के लिए यह क्यों महत्वपूर्ण है

यदि आप एक वीडियो क्रिएटर, फिल्म निर्माता या एनिमेटर हैं, तो वर्ल्ड मॉडल्स आपके दैनिक काम से दूर लग सकते हैं। लेकिन इसके प्रभाव आपकी सोच से भी अधिक करीब हैं।

वे लक्षण जिन्हें आप पहले से पहचानते हैं

वर्तमान AI वीडियो टूल भौतिक निरंतरता (physical consistency) के साथ संघर्ष करते हैं, और इन विफलताओं का एक साझा कारण है:

• वस्तुएं एक-दूसरे के आर-पार हो जाती हैं (clip through), क्योंकि मॉडल में ऐसा कुछ भी नहीं है जो किसी वस्तु को स्थान घेरने वाली चीज़ के रूप में दर्शाता हो।
• शॉट्स के बीच गुरुत्वाकर्षण असंगत रूप से व्यवहार करता है, क्योंकि प्रत्येक शॉट स्वतंत्र रूप से सैंपल किया जाता है।
• कारण और प्रभाव गड़बड़ा जाते हैं, क्योंकि मॉडल आगे क्या होता है इसके बजाय यह अनुमान लगा रहा होता है कि एक फ्रेम कैसा दिखता है।

ये सभी उन मॉडलों के लक्षण हैं जो यथार्थवादी पिक्सल उत्पन्न कर सकते हैं लेकिन वे जो दर्शा रहे हैं उसके पीछे के भौतिक नियमों को वास्तव में नहीं समझते हैं।

एक वर्ल्ड मॉडल क्या बदलता है

वर्ल्ड मॉडल एक ऐसा सिस्टम है जो केवल आखिरी फ्रेम का ही नहीं, बल्कि स्वयं पूरे दृश्य का प्रतिनिधित्व बनाए रखता है। यही अंतर किसी वस्तु को वहीं रहने देता है जहाँ वह थी, भले ही कैमरा उसे छोड़कर वापस आए।

बड़े पैमाने पर वीडियो डेटासेट पर प्रशिक्षित वर्ल्ड मॉडल्स अंततः वीडियो जनरेशन में वापस आ सकते हैं, जिससे ऐसे AI टूल्स तैयार होंगे जो स्वाभाविक रूप से भौतिक नियमों का सम्मान करते हैं। एक ऐसे वीडियो जनरेटर की कल्पना करें जहाँ आपको "यथार्थवादी भौतिकी" के लिए प्रॉम्प्ट देने की आवश्यकता नहीं है क्योंकि मॉडल पहले से ही जानता है कि वास्तविकता कैसे काम करती है।

आपके अगले प्रोजेक्ट के लिए इसका क्या अर्थ है

यहाँ कुछ भी आज आपके लिए एक उत्पाद के रूप में उपलब्ध नहीं है, और ईमानदार सिफारिश उसी से निकलती है।

• यदि आप इस तिमाही में वीडियो शिप कर रहे हैं: वर्ल्ड मॉडल्स को पूरी तरह से नज़रअंदाज़ करें और उन मापदंडों पर चुनाव करें जो अभी मौजूद हैं, जैसे कि शॉट की लंबाई, पहचान की निरंतरता (identity consistency) और प्रति सेकंड लागत। भौतिकी के बारे में तर्क करने वाला कोई भी मॉडल शॉर्टलिस्ट में नहीं है, क्योंकि ऐसा कोई मॉडल मौजूद नहीं है।
• यदि आप अगले वर्ष के लिए एक पाइपलाइन की योजना बना रहे हैं: तो देखने लायक मापदंड यह है कि जब कोई वस्तु फ्रेम छोड़ती है और वापस आती है, तो क्या जनरेटर उसे स्थिर रखता है। यह अकेला परीक्षण एक वर्ल्ड मॉडल को एक बहुत अच्छे फ्रेम प्रेडिक्टर से अलग करता है, और आप इसे लगभग एक मिनट में किसी भी टूल पर चला सकते हैं।
• यदि आप चुन रहे हैं कि क्या सीखना है: तो हस्तांतरणीय कौशल (transferable skill) प्रॉम्प्ट फ़्रेज़िंग के बजाय मॉडल की सीमाओं के इर्द-गिर्द शॉट प्लानिंग करना है, क्योंकि सीमाएँ धीमी गति से बदलती हैं और फ़्रेज़िंग हर रिलीज़ के साथ बदल जाती है।

जिस दावे पर संदेह करना चाहिए वह ऐसा कोई भी टूल है जो बिना अनकट शॉट दिखाए भौतिक समझ का विपणन करता है। ऐसा डेमो बनाना सस्ता है, इसलिए लॉन्च से इसकी अनुपस्थिति पर ध्यान देना ज़रूरी है।

आगे की राह

वर्ल्ड मॉडल्स AI में शायद सबसे महत्वाकांक्षी लक्ष्य का प्रतिनिधित्व करते हैं: मशीनों को इंसानों की तरह भौतिक वास्तविकता को समझना सिखाना। स्पष्ट प्रोग्रामिंग के माध्यम से नहीं, बल्कि अवलोकन, निष्कर्ष और कल्पना के माध्यम से।

हम अभी शुरुआती दौर में हैं। वर्तमान प्रणालियाँ प्रभावशाली प्रदर्शन हैं, प्रोडक्शन-रेडी समाधान नहीं। लेकिन दिशा स्पष्ट है।

इस क्षेत्र में भारी निवेश कर रही कंपनियां (NVIDIA, Google DeepMind, OpenAI और कई स्टार्टअप्स) यह दांव लगा रही हैं कि डिजिटल बुद्धिमत्ता के बाद भौतिक बुद्धिमत्ता (physical intelligence) अगला पड़ाव है।

पाठ-आधारित कार्यों के लिए LLMs जितने परिवर्तनकारी रहे हैं, उसे देखते हुए कल्पना कीजिए कि जब AI भौतिक दुनिया को उतनी ही धाराप्रवाहता से समझ सकेगा और उसके साथ बातचीत कर सकेगा तो इसका क्या प्रभाव होगा।

वीडियो लैंग्वेज मॉडल्स का यही वादा है। इसलिए यह नया पड़ाव इतना मायने रखता है।

---

स्रोत

• Morgan Stanley: 2050 तक ह्यूमनॉइड रोबोट की वैश्विक आबादी एक अरब के करीब पहुंचने का अनुमान है (Morgan Stanley)