Meta SAM 3D: Από επίπεδες εικόνες σε πλήρη τρισδιάστατα μοντέλα σε δευτερόλεπτα

Το πρόβλημα που λύνει το SAM 3D

Η δημιουργία τρισδιάστατων περιουσιακών στοιχείων ήταν πάντα ένα εμπόδιο. Είτε αναπτύσσετε ένα παιχνίδι, σχεδιάζετε οπτικοποίηση προϊόντων, είτε δημιουργείτε μια εμπειρία επαυξημένης πραγματικότητας, η διαδικασία συνήθως έχει ως εξής:

Οι επιπτώσεις είναι σημαντικές. Η δημιουργία τρισδιάστατου περιεχομένου έγινε προσβάσιμη σε οποιονδήποτε έχει μια κάμερα.

Πώς λειτουργεί το SAM 3D

Το SAM 3D βασίζεται στην αρχιτεκτονική Segment Anything Model της Meta, αλλά την επεκτείνει σε τρεις διαστάσεις. Το σύστημα έρχεται σε δύο εξειδικευμένες παραλλαγές:

Η αρχιτεκτονική χρησιμοποιεί έναν κωδικοποιητή βασισμένο σε transformer που προβλέπει βάθος, επιφανειακούς κανονικούς και γεωμετρία ταυτόχρονα. Σε αντίθεση με προηγούμενες μεθόδους τρισδιάστατης απεικόνισης από μία εικόνα που συχνά παρήγαγαν θολά, κατά προσέγγιση σχήματα, το SAM 3D διατηρεί κοφτερές άκρες και λεπτές γεωμετρικές λεπτομέρειες.

SAM 3 για βίντεο: Απομόνωση αντικειμένων με βάση κείμενο

Ενώ το SAM 3D χειρίζεται τη μετατροπή από 2D σε 3D, το SAM 3 εστιάζει στην κατάτμηση βίντεο με σημαντική αναβάθμιση: ερωτήματα βασισμένα σε κείμενο.

Οι προηγούμενες εκδόσεις απαιτούσαν να κάνετε κλικ στα αντικείμενα για να τα επιλέξετε. Το SAM 3 σας επιτρέπει να περιγράψετε τι θέλετε να απομονώσετε:

• "Επιλέξτε όλα τα κόκκινα αυτοκίνητα"
• "Παρακολουθήστε το άτομο με το μπλε τζάκετ"
• "Απομονώστε τα κτίρια στο φόντο"

Το μοντέλο επιτυγχάνει 47,0 zero-shot μέση ακρίβεια μάσκας, μια βελτίωση 22% σε σχέση με προηγούμενα συστήματα. Πιο σημαντικό είναι ότι μπορεί να επεξεργαστεί πάνω από 100 αντικείμενα ταυτόχρονα σε ένα μόνο καρέ βίντεο.

Τεχνική αρχιτεκτονική

Για εκείνους που ενδιαφέρονται για τις λεπτομέρειες, το SAM 3D χρησιμοποιεί μια αρχιτεκτονική πολλαπλών κεφαλών που προβλέπει διάφορες ιδιότητες ταυτόχρονα:

Το μοντέλο εκπαιδεύτηκε σε συνδυασμό σαρώσεων πραγματικού κόσμου σε 3D και συνθετικών δεδομένων. Η Meta δεν έχει αποκαλύψει το ακριβές μέγεθος του συνόλου δεδομένων, αλλά αναφέρει "εκατομμύρια περιπτώσεις αντικειμένων" στην τεχνική της τεκμηρίωση.

Το SAM 3D επεξεργάζεται εικόνες σε πολλαπλές αναλύσεις ταυτόχρονα, επιτρέποντάς του να συλλάβει τόσο λεπτές λεπτομέρειες (υφές, άκρες) όσο και παγκόσμια δομή (συνολικό σχήμα, αναλογίες) σε μία μόνο διέλευση.

Πρακτικές εφαρμογές

Ο περιορισμός της μονής όψης είναι θεμελιώδης: το μοντέλο μπορεί να δει μόνο τη μία πλευρά ενός αντικειμένου. Συνάγει την κρυφή γεωμετρία με βάση μαθημένες προτεραιότητες, κάτι που λειτουργεί καλά για κοινά αντικείμενα, αλλά μπορεί να παράγει απροσδόκητα αποτελέσματα για ασυνήθιστα σχήματα.

Διαθεσιμότητα και πρόσβαση

Το SAM 3D είναι διαθέσιμο τώρα μέσω του Segment Anything Playground στον ιστότοπο της Meta. Για προγραμματιστές, η Roboflow έχει ήδη δημιουργήσει ενσωμάτωση για προσαρμοσμένη λεπτομερή ρύθμιση σε αντικείμενα συγκεκριμένου τομέα.

• ✓Web playground: Διαθέσιμο τώρα
• ✓Πρόσβαση API: Διαθέσιμη για προγραμματιστές
• ✓Ενσωμάτωση Roboflow: Έτοιμη για λεπτομερή ρύθμιση
• ○Τοπική εγκατάσταση: Τα βάρη θα είναι σύντομα διαθέσιμα

Το API είναι δωρεάν για έρευνα και περιορισμένη εμπορική χρήση. Εμπορικές εφαρμογές υψηλού όγκου απαιτούν ξεχωριστή συμφωνία με τη Meta.

Τι σημαίνει αυτό για τον κλάδο

Το εμπόδιο για τη δημιουργία τρισδιάστατου περιεχομένου μόλις μειώθηκε σημαντικά. Σκεφτείτε τις επιπτώσεις:

Για προγραμματιστές παιχνιδιών: Η ταχεία πρωτοτυποποίηση γίνεται τετριμμένη. Φωτογραφίστε αντικείμενα του πραγματικού κόσμου, αποκτήστε χρησιμοποιήσιμα τρισδιάστατα στοιχεία σε δευτερόλεπτα, επαναλάβετε από εκεί.

Για το ηλεκτρονικό εμπόριο: Η φωτογράφιση προϊόντων μπορεί αυτόματα να δημιουργεί τρισδιάστατα μοντέλα για χαρακτηριστικά προεπισκόπησης σε επαυξημένη πραγματικότητα. Δεν χρειάζεται ξεχωριστή διαδικασία παραγωγής 3D.

Για εκπαιδευτικούς: Ιστορικά αντικείμενα, βιολογικά δείγματα ή τεχνικά εξαρτήματα μπορούν να γίνουν διαδραστικά τρισδιάστατα μοντέλα από υπάρχουσες φωτογραφίες.

Για δημιουργούς επαυξημένης και εικονικής πραγματικότητας: Η γέμιση εικονικών περιβαλλόντων με ρεαλιστικά αντικείμενα δεν απαιτεί πλέον εκτεταμένη εξειδίκευση στην τρισδιάστατη μοντελοποίηση.

Το ευρύτερο τοπίο

Το SAM 3D αντιπροσωπεύει μια ευρύτερη τάση: Η τεχνητή νοημοσύνη αφαιρεί συστηματικά την τριβή από τις δημιουργικές ροές εργασίας. Το είδαμε αυτό με τη δημιουργία εικόνων, στη συνέχεια με τη δημιουργία βίντεο, και τώρα με την τρισδιάστατη μοντελοποίηση.

Η τεχνολογία δεν είναι τέλεια. Σύνθετες σκηνές με αποκλεισμούς, ασυνήθιστα υλικά ή περίπλοκη γεωμετρία εξακολουθούν να προκαλούν το σύστημα. Αλλά η βασική ικανότητα μετατροπής οποιασδήποτε φωτογραφίας σε χρησιμοποιήσιμο τρισδιάστατο δίκτυο είναι πλέον διαθέσιμη σε όλους.

Για επαγγελματίες καλλιτέχνες τρισδιάστατων γραφικών, αυτό δεν είναι αντικατάσταση, αλλά εργαλείο. Δημιουργήστε ένα βασικό δίκτυο σε δευτερόλεπτα και στη συνέχεια βελτιώστε το χειροκίνητα. Η κουραστική αρχική φάση μοντελοποίησης συμπιέζεται από ώρες σε δευτερόλεπτα, αφήνοντας περισσότερο χρόνο για τη δημιουργική εργασία που πραγματικά απαιτεί ανθρώπινη κρίση.

Η κυκλοφορία της Meta σηματοδοτεί ότι το εμπόδιο μεταξύ 2D και 3D καταρρέει. Το ερώτημα τώρα δεν είναι αν η τεχνητή νοημοσύνη μπορεί να δημιουργήσει τρισδιάστατο περιεχόμενο από εικόνες. Είναι πόσο καιρό θα χρειαστεί μέχρι αυτή η δυνατότητα να γίνει τυπική λειτουργία σε κάθε δημιουργικό εργαλείο.