SAM 3D de Meta: 3D instantani des de qualsevol imatge

Per què SAM 3D és important

La generació 3D anteriorment requeria una de tres coses:

• Múltiples fotos des de molts angles (fotogrametria)
• Equip d'escaneig especialitzat (LIDAR, escàners estructurats)
• Hores de generació per IA per a mètodes de vista única (NeRF, Gaussian Splatting)

SAM 3D col·lapsa els tres camins en un: una imatge, subegon de processament, 3D completament texturitzat. No és perfecte, però és prou bo per a la majoria dels fluxos de treball de previsualització i prototipat.

L'arquitectura: com funciona

La innovació clau és la representació triplanar, un mètode que codifica la informació 3D en tres plans 2D ortogonals. Imagineu tallar un cub amb tres fulles planes (una horitzontal, dues verticals i perpendiculars). El model prediu el que veuria en cada pla i després reconstrueix el volum 3D des d'aquesta representació comprimida.

# Arquitectura conceptual SAM3D (simplificada)
class SAM3DEncoder(nn.Module):
    def __init__(self):
        self.image_encoder = ViTLargeEncoder()  # Backbone ViT pre-entrenat
        self.triplane_decoder = TriplaneDecoder()
        self.texture_head = TexturePredictor()
        self.geometry_head = GeometryPredictor()
 
    def forward(self, image):
        # Extreure característiques d'imatge
        features = self.image_encoder(image)
 
        # Decodificar a representació triplanar
        triplane = self.triplane_decoder(features)
 
        # Predir geometria i textura simultàniament
        geometry = self.geometry_head(triplane)
        texture = self.texture_head(triplane, features)
 
        return Mesh(geometry, texture)

La velocitat prové d'evitar la generació de NeRF/Gaussian Splatting iterativa. En lloc de milers de passos de difusió refinant gradualment una representació 3D, SAM 3D fa una sola passada endavant.

Benchmarks i rendiment real

He executat SAM 3D en una RTX 4090 amb una varietat de tipus d'imatge:

L'avaluació quantitativa del document de recerca de Meta mostra millores significatives sobre enfocaments anteriors en el benchmark Objaverse:

Però els benchmarks són benchmarks. En imatges reals del món real, espera qualitat variable. La regla general: com més neta sigui la teva imatge d'entrada i més senzilla sigui la geometria, millors resultats obtindràs.

Aplicacions pràctiques

Prototipat de productes

Per a prototipat d'etapa inicial, la qualitat és més que suficient. Pots visualitzar ràpidament com es veurà un producte des de tots els angles abans d'invertir en treball 3D adequat.

Generació de recursos de jocs

Per a desenvolupadors de jocs independents, SAM 3D ofereix una manera d'accelerar significativament la creació de recursos:

# Pipeline de processament per lots
for img in product_photos/*.jpg; do
    sam3d generate --input "$img" --output "meshes/$(basename "$img" .jpg).glb"
done
# 100 imatges → 100 malles en ~20 segons

La sortida sovint necessita neteja, sobretot per a jocs on la topologia importa. Però com a punt de partida, estalvia hores de modelatge.

Comerç electrònic i AR

Els requisits mínims per a experiències de prova d'AR encara superen el que SAM 3D produeix sol. Però com a entrada per a refinament de malles amb IA posterior, és un punt de partida valuós.

Formats de sortida i integració

SAM 3D produeix múltiples formats de sortida:

• ✓GLB/glTF: preparat per a visors web i motors de jocs
• ✓OBJ: compatible amb la majoria de programari 3D
• ✓PLY: per a pipelines de núvol de punts
• ✓USDZ: per a AR d'Apple (requereix conversió)

La sortida per defecte és un fitxer GLB amb textures integrades. Per a la majoria de fluxos de treball, pots anar directament a Three.js, Unity o Blender.

Comparació amb enfocaments existents

Preparació de les teves imatges per als millors resultats

Després de centenars de generacions, aquí tens el que he après sobre la preparació d'imatges d'entrada:

L'eliminació de fons abans de SAM 3D sovint millora la qualitat. Eines com SAM de Meta original (per a segmentació 2D) poden preparar imatges per a la millor entrada.

Implicacions per a la indústria

Aquesta tendència afecta:

• Estudis de jocs: Acceleració de pipelines de recursos
• Comerç electrònic: Fotografies de productes 3D per a tothom
• Xarxes socials: Filtres i efectes 3D a partir de fotos
• Manufactura: Documentació ràpida d'objectes físics
• Arxiu: Digitalització de col·leccions de museus

Cada indústria que treballa amb objectes físics és potencialment afectada quan el 3D des de fotos es converteix en trivial.

El que ve després

Meta ha suggerit que SAM 3D forma part d'una línia de recerca més àmplia sobre comprensió espacial. Com encaixa amb altres treballs:

La direcció sembla clara: Meta vol construir models bàsics que entenguin i manipulin el contingut visual en qualsevol dimensió. SAM 3D és un pas cap a aquest futur.

Començant amb SAM 3D

El model és de codi obert i està disponible a GitHub. Requisits bàsics:

git clone https://github.com/facebookresearch/sam3d
cd sam3d
pip install -e .
 
# Ús bàsic
python sam3d_demo.py --image your_photo.jpg --output model.glb

La documentació inclou demos de Jupyter i una interfície Gradio per a proves interactives.

La meva opinió

SAM 3D és la cosa més emocionant en 3D que he vist des que Gaussian Splatting va fer clic. No perquè sigui perfecte, sinó perquè fa que el 3D sigui finalment immediat.

Espero que SAM 3D impulsi una onada de noves aplicacions que combinen fotos i contingut 3D. Filtres socials, eines de prova de productes, generadors de recursos de jocs, totes coses que eren possibles però massa lentes per ser pràctiques.

La qualitat millorarà. Els temps d'inferència baixaran. Però el canvi fonamental ja ha passat: el 3D des de 2D ja no és un procés d'hores, sinó de menys d'un segon.

I això ho canvia tot.

Fonts

• Llançament de SAM 3D a GitHub
• Article de recerca SAM 3D
• Article de Segment Anything Model original