किसी भी फ़ोटो को सेकंडों में 3D में बदलें (Meta SAM 3D गाइड)

SAM 3D जिस समस्या का समाधान करता है

3D एसेट बनाना हमेशा से एक बाधा रहा है। चाहे आप गेम बना रहे हों, उत्पाद विज़ुअलाइज़ेशन डिज़ाइन कर रहे हों, या AR अनुभव को भर रहे हों, प्रक्रिया आमतौर पर ऐसी दिखती है:

इसके प्रभाव महत्वपूर्ण हैं। 3D सामग्री निर्माण अब कैमरा रखने वाले किसी भी व्यक्ति के लिए सुलभ हो गया है।

SAM 3D कैसे काम करता है

SAM 3D, Meta की Segment Anything Model आर्किटेक्चर पर आधारित है, लेकिन इसे तीन आयामों तक विस्तारित करता है। सिस्टम दो विशेष वेरिएंट्स में आता है:

यह आर्किटेक्चर एक transformer-आधारित encoder का उपयोग करता है, जो एक साथ गहराई, सतह के normals और ज्यामिति की भविष्यवाणी करता है। पिछली एकल-छवि 3D विधियों के विपरीत, जो अक्सर धुंधले, अनुमानित आकार बनाती थीं, SAM 3D तेज किनारों और सूक्ष्म ज्यामितीय विवरणों को बनाए रखता है।

वीडियो के लिए SAM 3: टेक्स्ट-आधारित ऑब्जेक्ट आइसोलेशन

जहाँ SAM 3D 2D-से-3D रूपांतरण संभालता है, SAM 3 एक बड़े अपग्रेड के साथ वीडियो सेगमेंटेशन पर केंद्रित है: टेक्स्ट-आधारित क्वेरीज़।

पिछले संस्करणों में ऑब्जेक्ट्स चुनने के लिए आपको उन पर क्लिक करना पड़ता था। SAM 3 आपको बताने देता है कि आप क्या अलग करना चाहते हैं:

• "सभी लाल कारें चुनें"
• "नीली जैकेट वाले व्यक्ति को ट्रैक करें"
• "पृष्ठभूमि की इमारतों को अलग करें"

मॉडल 47.0 ज़ीरो-शॉट mask average precision प्राप्त करता है, जो पिछले सिस्टम्स की तुलना में 22% सुधार है। अधिक महत्वपूर्ण बात यह है कि यह एकल वीडियो फ़्रेम में एक साथ 100 से अधिक ऑब्जेक्ट्स को प्रोसेस कर सकता है।

तकनीकी आर्किटेक्चर

जो लोग विवरणों में रुचि रखते हैं, उनके लिए SAM 3D एक multi-head आर्किटेक्चर का उपयोग करता है, जो एक साथ कई गुणों की भविष्यवाणी करता है:

मॉडल को वास्तविक दुनिया के 3D स्कैन्स और सिंथेटिक डेटा के संयोजन पर प्रशिक्षित किया गया था। Meta ने सटीक डेटासेट आकार का खुलासा नहीं किया है, लेकिन अपने तकनीकी दस्तावेज़ों में "लाखों ऑब्जेक्ट इंस्टेंसेज़" का उल्लेख किया है।

SAM 3D छवियों को एक साथ कई रिज़ॉल्यूशन्स पर प्रोसेस करता है, जिससे यह एक ही forward pass में सूक्ष्म विवरणों (टेक्सचर्स, किनारों) और वैश्विक संरचना (कुल आकार, अनुपात) दोनों को कैप्चर कर सकता है।

व्यावहारिक अनुप्रयोग

एकल-दृश्य सीमा बुनियादी है: मॉडल किसी ऑब्जेक्ट का केवल एक पक्ष देख सकता है। यह सीखी हुई पूर्वधारणाओं के आधार पर छिपी ज्यामिति का अनुमान लगाता है, जो सामान्य ऑब्जेक्ट्स के लिए अच्छा काम करता है, लेकिन असामान्य आकारों के लिए अप्रत्याशित परिणाम दे सकता है।

उपलब्धता और एक्सेस

SAM 3D अब Meta की वेबसाइट पर Segment Anything Playground के माध्यम से उपलब्ध है। डेवलपर्स के लिए, Roboflow ने डोमेन-विशिष्ट ऑब्जेक्ट्स पर कस्टम fine-tuning हेतु पहले ही इंटीग्रेशन बना लिया है।

• ✓वेब प्लेग्राउंड: अभी उपलब्ध
• ✓API एक्सेस: डेवलपर्स के लिए उपलब्ध
• ✓Roboflow इंटीग्रेशन: fine-tuning के लिए तैयार
• ✓लोकल डिप्लॉयमेंट: weights जल्द आ रहे हैं

API अनुसंधान और सीमित व्यावसायिक उपयोग के लिए मुफ़्त है। उच्च-वॉल्यूम व्यावसायिक अनुप्रयोगों के लिए Meta के साथ अलग समझौते की आवश्यकता होती है।

इसका उद्योग के लिए क्या अर्थ है

3D सामग्री निर्माण की बाधा काफी कम हो गई है। इसके प्रभावों पर विचार करें:

गेम डेवलपर्स के लिए: तेज़ प्रोटोटाइपिंग आसान हो जाती है। वास्तविक दुनिया के ऑब्जेक्ट्स की फ़ोटो लें, सेकंडों में उपयोगी 3D एसेट्स पाएं, और वहाँ से आगे बढ़ें।

ई-कॉमर्स के लिए: उत्पाद फ़ोटोग्राफ़ी, AR प्रीव्यू सुविधाओं के लिए स्वचालित रूप से 3D मॉडल बना सकती है। अलग 3D प्रोडक्शन पाइपलाइन की आवश्यकता नहीं।

शिक्षकों के लिए: ऐतिहासिक कलाकृतियाँ, जैविक नमूने या इंजीनियरिंग घटक मौजूदा फ़ोटोग्राफ़ से इंटरैक्टिव 3D मॉडल बन सकते हैं।

AR/VR क्रिएटर्स के लिए: यथार्थवादी ऑब्जेक्ट्स से वर्चुअल परिवेश भरने के लिए अब व्यापक 3D मॉडलिंग विशेषज्ञता की आवश्यकता नहीं है।

बड़ी तस्वीर

SAM 3D एक व्यापक प्रवृत्ति का प्रतिनिधित्व करता है: AI व्यवस्थित रूप से रचनात्मक वर्कफ़्लो से रुकावट हटा रहा है। हमने इसे इमेज जनरेशन के साथ देखा, फिर वीडियो जनरेशन के साथ, और अब 3D मॉडलिंग के साथ।

तकनीक पूर्ण नहीं है। अवरोधों, असामान्य सामग्रियों या जटिल ज्यामिति वाले जटिल दृश्य अभी भी सिस्टम के लिए चुनौती हैं। लेकिन बुनियादी क्षमता, किसी भी फ़ोटोग्राफ़ को उपयोगी 3D मेश में बदलना, अब सभी के लिए उपलब्ध है।

पेशेवर 3D कलाकारों के लिए, यह प्रतिस्थापन नहीं बल्कि एक उपकरण है। सेकंडों में बेस मेश बनाएँ, फिर उसे मैन्युअल रूप से परिष्कृत करें। थकाऊ प्रारंभिक मॉडलिंग चरण घंटों से घटकर सेकंडों में सिमट जाता है, जिससे उस रचनात्मक कार्य के लिए अधिक समय बचता है जिसमें वास्तव में मानवीय निर्णय की आवश्यकता होती है।

Meta का रिलीज़ संकेत देता है कि 2D-से-3D की बाधा ढह रही है। अब प्रश्न यह नहीं है कि AI छवियों से 3D सामग्री बना सकता है या नहीं। प्रश्न यह है कि इस क्षमता को हर रचनात्मक उपकरण में मानक सुविधा बनने में कितना समय लगेगा।

---

स्रोत

• Ultralytics: SAM 3 ने LVIS पर 47.0 ज़ीरो-शॉट mask AP हासिल किया, जबकि पिछला सर्वश्रेष्ठ 38.5 था, एक सुधार… (Ultralytics)