Meta SAM 3D: No plakaniem attēliem līdz pilnīgiem 3D modeļiem sekundēs

Meta 2025. gada 19. novembrī izlaida kaut ko būtisku. SAM 3D tagad var ģenerēt pilnīgus 3D tīklus no viena 2D attēla sekundēs. Tas, kam agrāk vajadzēja stundas manuālas modelēšanas vai dārgas fotogrammetrijas iekārtas, tagad notiek ar vienu klikšķi.

Problēma, ko SAM 3D risina

3D aktīvu izveide vienmēr ir bijusi šaurā vieta. Vai būvē spēli, projektē produkta vizualizāciju vai papildini AR pieredzi, process parasti izskatās šādi:

Tradicionāli

Manuāla modelēšana

Mākslinieks pavada 4-8 stundas, veidojot vienu objektu Blender vai Maya

Fotogrammetrija

Vairāku attēlu uzņemšana

Uzņem 50-200 foto no visiem leņķiem, apstrādā visu nakti, manuāli novērš artefaktus

SAM 3D

Viens attēls

Augšupielādē vienu foto, saņem teksturētu 3D tīklu sekundēs

Sekas ir būtiskas. 3D satura izveide tikko kļuva pieejama ikvienam ar kameru.

Kā darbojas SAM 3D

SAM 3D balstās uz Meta Segment Anything Model arhitektūru, bet to paplašina trīs dimensijās. Sistēma nāk divās specializētās versijās:

SAM 3D Objects

Optimizēts objektiem un ainām
Apstrādā sarežģītu ģeometriju
Darbojas ar jebkurām formām
Vislabāk produktiem, mēbelēm, vidēm

SAM 3D Body

Specializēts cilvēka formām
Precīzi uztver ķermeņa proporcijas
Apstrādā apģērbu un aksesuārus
Vislabāk avatāriem, rakstzīmju izveidei

Arhitektūra izmanto transformatora balstītu enkoderi, kas vienlaikus prognozē dziļumu, virsmas normāles un ģeometriju. Atšķirībā no iepriekšējām viena attēla 3D metodēm, kas bieži veidoja neskaidras, aptuvenas formas, SAM 3D saglabā asas malas un smalkas ģeometriskās detaļas.

💡

SAM 3D izveido standarta tīkla formātus, kas saderīgi ar Unity, Unreal Engine, Blender un lielāko daļu 3D programmatūras. Nav īpašnieka bloķēšanas.

SAM 3 video: teksta balstīta objektu izolācija

Kamēr SAM 3D apstrādā 2D līdz 3D konversiju, SAM 3 koncentrējas uz video segmentāciju ar nozīmīgu uzlabojumu: teksta balstītiem vaicājumiem.

Iepriekšējās versijās bija jāklikšķina uz objektiem, lai tos atlasītu. SAM 3 ļauj aprakstīt, ko vēlies izolēt:

"Atlasi visas sarkanās mašīnas"
"Izseko personu zilajā jakā"
"Izolē fona ēkas"

47.0

Nulles šāviena mAP

22%

Uzlabojums

100+

Izsekoti objekti

Modelis sasniedz 47.0 nulles šāviena maskas vidējo precizitāti, kas ir 22% uzlabojums salīdzinājumā ar iepriekšējām sistēmām. Vēl svarīgāk, tas var apstrādāt vairāk nekā 100 objektus vienlaikus vienā video kadrā.

🎬

Integrācija ar Meta Edits

SAM 3 jau ir integrēts Meta Edits video izveides lietotnē. Radītāji var lietot efektus, krāsu izmaiņas un transformācijas konkrētiem objektiem, izmantojot dabiskās valodas aprakstus, nevis manuālu kadru pēc kadra maskēšanu.

Tehniskā arhitektūra

Tiem, kas interesējas par detaļām, SAM 3D izmanto vairāku galveno arhitektūru, kas vienlaikus prognozē vairākus īpašumus:

Prognozēšanas galvas:

Dziļuma karte: attālums no kameras katram pikselim
Virsmas normāles: 3D orientācija katrā punktā
Semantiskā segmentācija: objektu robežas un kategorijas
Tīkla topoloģija: trīsstūru savienojamība 3D izvadei

Modelis tika apmācīts uz reālo pasaules 3D skenējumu un sintētisko datu kombinācijas. Meta nav atklājusi precīzu datu kopas lielumu, bet tehniskie dokumenti piemin "miljoniem objektu gadījumu".

SAM 3D apstrādā attēlus vairākās izšķirtspējās vienlaikus, ļaujot uztvert gan sīkas detaļas (tekstūras, malas), gan globālo struktūru (kopējo formu, proporcijas) vienā tieši ejošā solī.

Praktiskie pielietojumi

✓Tūlītēji lietošanas gadījumi

E-komercijas produktu vizualizācija
AR izmēģināšanas pieredzes
Spēļu aktīvu prototipēšana
Arhitektūras vizualizācija
Izglītojoši 3D modeļi

✗Ierobežojumi, kas jāņem vērā

Viena skata rekonstrukcijai ir raksturīga neskaidrība
Objektu aizmugures tiek secinatas, nevis novērotas
Ļoti atstarojošās vai caurspīdīgās virsmas rada grūtības
Ļoti plānas struktūras var nerekonstruēties labi

Viena skata ierobežojums ir fundamentāls: modelis var redzēt tikai vienu objekta pusi. Tas secina slēpto ģeometriju, pamatojoties uz iemācītiem priekšstatiem, kas labi darbojas parastos objektos, bet var radīt negaidītus rezultātus neparastām formām.

Pieejamība un piekļuve

SAM 3D ir pieejams tagad caur Segment Anything Playground Meta vietnē. Izstrādātājiem Roboflow jau ir izveidojis integrāciju pielāgotai precizēšanai domēnam specifiskiem objektiem.

✓Tīmekļa rotaļu laukums: pieejams tagad
✓API piekļuve: pieejama izstrādātājiem
✓Roboflow integrācija: gatavs precizēšanai
○Lokālais izvietojums: svari drīzumā

API ir bezmaksas pētniecībai un ierobežotai komerciālai lietošanai. Liela apjoma komerciālajām lietotnēm nepieciešams atsevišķs līgums ar Meta.

Ko tas nozīmē nozarei

Barjera 3D satura izveidei tikko ievērojami samazinājās. Apsver sekas:

Spēļu izstrādātājiem: ātrā prototipēšana kļūst triviāla. Fotografē reālās pasaules objektus, saņem lietojamus 3D aktīvus sekundēs, no tā tālāk iterē.

E-komercijai: produktu fotografēšana var automātiski ģenerēt 3D modeļus AR priekšskatījuma funkcijām. Nav nepieciešama atsevišķa 3D ražošanas sistēma.

Skolotājiem: vēsturiskie artefakti, bioloģiskie paraugi vai inženierijas komponenti var kļūt par interaktīviem 3D modeļiem no esošām fotogrāfijām.

AR/VR radītājiem: virtuālo vidi papildināšana ar reālistiskiem objektiem vairs neprasa plašas 3D modelēšanas zināšanas.

💡

SAM 3 (video segmentācija) un SAM 3D (3D rekonstrukcija) kombinācija ļauj darba plūsmas, kurās var segmentēt objektu no video materiāla, tad pārvērst šo segmentēto objektu 3D modelī. Ekstrakcija un rekonstrukcija vienā sistēmā.

Lielākais attēls

SAM 3D pārstāv plašāku tendenci: AI sistemātiski novērš berzi no radošām darba plūsmām. Mēs to redzējām attēlu ģenerēšanā, tad video ģenerēšanā, un tagad 3D modelēšanā.

Tehnoloģija nav perfekta. Sarežģītas ainas ar noslēpumiem, neparastiem materiāliem vai sarežģītu ģeometriju joprojām izaicina sistēmu. Bet pamata spēja, jebkuru fotogrāfiju pārvērst lietojamā 3D tīklā, tagad ir pieejama ikvienam.

Profesionāliem 3D māksliniekiem tas nav aizstājējs, bet instruments. Ģenerē pamata tīklu sekundēs, tad to manuāli uzlabo. Garlaicīgā sākotnējā modelēšanas fāze saspiežas no stundām līdz sekundēm, atstājot vairāk laika radošajam darbam, kam patiešām nepieciešama cilvēka vērtējums.

Meta izlaidums signalizē, ka 2D līdz 3D barjera sabrūk. Jautājums tagad nav par to, vai AI var izveidot 3D saturu no attēliem. Tas ir, cik ilgi, līdz šī spēja kļūst par standarta funkciju katrā radošajā instrumentā.