SAM 3D من Meta: من الصور المسطحة إلى نماذج ثلاثية الأبعاد كاملة في ثوانٍ

المشكلة التي يحلها SAM 3D

كان إنشاء الأصول الثلاثية الأبعاد دائماً عقبة رئيسية. سواء كنت تبني لعبة، أو تصمم تصوراً للمنتج، أو تملأ تجربة واقع معزز، فإن العملية تبدو عادةً كما يلي:

الآثار المترتبة على ذلك كبيرة. أصبح إنشاء المحتوى الثلاثي الأبعاد الآن متاحاً لأي شخص لديه كاميرا.

كيف يعمل SAM 3D

يبني SAM 3D على بنية Segment Anything Model من Meta، لكنه يمتد إلى ثلاثة أبعاد. يأتي النظام في نسختين متخصصتين:

تستخدم البنية محول تشفير قائم على المحولات (transformer) يتنبأ بالعمق والأسطح العادية والهندسة في وقت واحد. على عكس طرق الثلاثي الأبعاد من صورة واحدة السابقة التي غالباً ما أنتجت أشكالاً غامضة وتقريبية، يحافظ SAM 3D على الحواف الحادة والتفاصيل الهندسية الدقيقة.

SAM 3 للفيديو: عزل الكائنات القائم على النص

بينما يتعامل SAM 3D مع التحويل من الثنائي إلى الثلاثي الأبعاد، يركز SAM 3 على تجزئة الفيديو مع ترقية كبيرة: الاستعلامات القائمة على النص.

تطلبت الإصدارات السابقة منك النقر على الكائنات لتحديدها. يتيح لك SAM 3 وصف ما تريد عزله:

• "حدد جميع السيارات الحمراء"
• "تتبع الشخص في السترة الزرقاء"
• "عزل المباني في الخلفية"

يحقق النموذج دقة متوسط قناع بدون تدريب مسبق (zero-shot) تبلغ 47.0، وهو تحسن بنسبة 22٪ على الأنظمة السابقة. والأهم من ذلك، يمكنه معالجة أكثر من 100 كائن في وقت واحد في إطار فيديو واحد.

البنية التقنية

بالنسبة لأولئك المهتمين بالتفاصيل، يستخدم SAM 3D بنية متعددة الرؤوس تتنبأ بعدة خصائص في وقت واحد:

تم تدريب النموذج على مزيج من المسح الثلاثي الأبعاد في العالم الحقيقي والبيانات الاصطناعية. لم تكشف Meta عن حجم مجموعة البيانات بالضبط، لكنها تذكر "ملايين حالات الكائنات" في وثائقها التقنية.

يعالج SAM 3D الصور بدقة متعددة في وقت واحد، مما يسمح له بالتقاط التفاصيل الدقيقة (الأنسجة والحواف) والهيكل العام (الشكل العام والنسب) في تمريرة واحدة للأمام.

التطبيقات العملية

قيد المنظر الواحد أساسي: يمكن للنموذج رؤية جانب واحد فقط من الكائن. يستنتج الهندسة المخفية بناءً على معرفة مسبقة مكتسبة، وهو ما يعمل بشكل جيد للكائنات الشائعة لكن يمكن أن ينتج نتائج غير متوقعة للأشكال غير العادية.

التوفر والوصول

SAM 3D متاح الآن من خلال Segment Anything Playground على موقع Meta الإلكتروني. بالنسبة للمطورين، قامت Roboflow بالفعل ببناء تكامل للضبط الدقيق المخصص على الكائنات الخاصة بالمجال.

• ✓الساحة على الويب: متاح الآن
• ✓الوصول إلى API: متاح للمطورين
• ✓تكامل Roboflow: جاهز للضبط الدقيق
• ○النشر المحلي: الأوزان قادمة قريباً

API مجاني للبحث والاستخدام التجاري المحدود. تتطلب التطبيقات التجارية عالية الحجم اتفاقاً منفصلاً مع Meta.

ماذا يعني هذا للصناعة

انخفض الحاجز أمام إنشاء المحتوى الثلاثي الأبعاد بشكل كبير. ضع في اعتبارك الآثار المترتبة:

لمطوري الألعاب: يصبح النموذج الأولي السريع أمراً تافهاً. تصوير الكائنات في العالم الحقيقي، والحصول على أصول ثلاثية الأبعاد قابلة للاستخدام في ثوانٍ، والتكرار من هناك.

للتجارة الإلكترونية: يمكن أن يولد تصوير المنتج تلقائياً نماذج ثلاثية الأبعاد لميزات معاينة الواقع المعزز. لا حاجة لخط إنتاج ثلاثي الأبعاد منفصل.

للمعلمين: يمكن أن تصبح القطع الأثرية التاريخية أو العينات البيولوجية أو المكونات الهندسية نماذج تفاعلية ثلاثية الأبعاد من الصور الموجودة.

لمبدعي الواقع المعزز والافتراضي: لم يعد ملء البيئات الافتراضية بكائنات واقعية يتطلب خبرة واسعة في النمذجة الثلاثية الأبعاد.

الصورة الأكبر

يمثل SAM 3D اتجاهاً أوسع: يعمل الذكاء الاصطناعي بشكل منهجي على إزالة الاحتكاك من سير العمل الإبداعي. رأينا هذا مع توليد الصور، ثم توليد الفيديو، والآن النمذجة الثلاثية الأبعاد.

التقنية ليست مثالية. المشاهد المعقدة مع الانسدادات أو المواد غير العادية أو الهندسة المعقدة لا تزال تتحدى النظام. لكن القدرة الأساسية، تحويل أي صورة إلى شبكة ثلاثية الأبعاد قابلة للاستخدام، متاحة الآن لأي شخص.

بالنسبة لفناني الثلاثي الأبعاد المحترفين، هذا ليس بديلاً بل أداة. إنشاء شبكة أساسية في ثوانٍ، ثم تحسينها يدوياً. تنضغط مرحلة النمذجة الأولية المملة من ساعات إلى ثوانٍ، مما يترك مزيداً من الوقت للعمل الإبداعي الذي يتطلب فعلاً حكماً بشرياً.

يشير إصدار Meta إلى أن الحاجز بين الثنائي والثلاثي الأبعاد يتهاوى. السؤال الآن ليس ما إذا كان الذكاء الاصطناعي يمكنه إنشاء محتوى ثلاثي الأبعاد من الصور. بل كم من الوقت حتى تصبح هذه القدرة ميزة قياسية في كل أداة إبداعية.