Meta SAM 3D: 平面画像から完全な3Dモデルへ、わずか数秒で

2025年11月19日、Metaは重要な発表を行いました。SAM 3Dは、単一の2D画像から完全な3Dメッシュを数秒で生成できるようになりました。これまで何時間もの手作業によるモデリングや高価なフォトグラメトリー装置が必要だった作業が、ワンクリックで実現されます。

SAM 3Dが解決する課題

3Dアセットの作成は、常にボトルネックとなってきました。ゲームを開発する場合でも、製品の可視化をデザインする場合でも、AR体験を構築する場合でも、プロセスは通常次のようになります:

従来の方法

手動モデリング

アーティストがBlenderやMayaで1つのオブジェクトを彫刻するのに4〜8時間かかります

フォトグラメトリー

多視点撮影

すべての角度から50〜200枚の写真を撮影し、一晩かけて処理し、手動でアーティファクトをクリーンアップします

SAM 3D

単一画像

1枚の写真をアップロードし、数秒でテクスチャ付き3Dメッシュを受け取ります

その影響は大きいものです。3Dコンテンツ制作が、カメラを持つすべての人にとってアクセス可能になりました。

SAM 3Dの仕組み

SAM 3Dは、MetaのSegment Anything Modelアーキテクチャをベースに構築されていますが、それを3次元に拡張しています。このシステムには、2つの特化型バリアントがございます:

SAM 3D Objects

オブジェクトとシーンに最適化
複雑なジオメトリを処理
任意の形状に対応
製品、家具、環境に最適

SAM 3D Body

人体形状に特化
体のプロポーションを正確に捉える
衣服とアクセサリーを処理
アバター、キャラクター制作に最適

このアーキテクチャは、トランスフォーマーベースのエンコーダを使用し、深度、表面法線、ジオメトリを同時に予測します。以前の単一画像3D手法では、ぼやけた近似的な形状が生成されることが多かったのに対し、SAM 3Dは鋭いエッジと繊細な幾何学的詳細を維持します。

💡

SAM 3Dは、Unity、Unreal Engine、Blender、およびほとんどの3Dソフトウェアと互換性のある標準的なメッシュフォーマットを出力します。プロプライエタリなロックインはありません。

ビデオ用SAM 3: テキストベースのオブジェクト分離

SAM 3Dが2Dから3Dへの変換を処理する一方で、SAM 3はビデオセグメンテーションに焦点を当て、大きなアップグレードを実現しています: テキストベースのクエリです。

以前のバージョンでは、オブジェクトを選択するためにクリックする必要がありました。SAM 3では、分離したいものを記述できます:

「すべての赤い車を選択」
「青いジャケットを着た人を追跡」
「背景の建物を分離」

47.0

Zero-Shot mAP

22%

改善率

100+

追跡されたオブジェクト

このモデルは、47.0のゼロショットマスク平均精度を達成し、以前のシステムから22%の改善を実現しております。さらに重要なことに、1つのビデオフレームで100以上のオブジェクトを同時に処理できます。

🎬

Meta Editsとの統合

SAM 3は、すでにMetaのビデオ制作アプリEditsに統合されております。クリエイターは、手動でフレームごとにマスキングする代わりに、自然言語の記述を使用して特定のオブジェクトにエフェクト、色の変更、変換を適用できます。

技術アーキテクチャ

詳細にご興味がある方のために、SAM 3Dは複数のプロパティを同時に予測するマルチヘッドアーキテクチャを使用します:

予測ヘッド:

深度マップ: カメラからのピクセルごとの距離
表面法線: 各点での3D方向
セマンティックセグメンテーション: オブジェクトの境界とカテゴリ
メッシュトポロジー: 3D出力用の三角形接続性

このモデルは、実世界の3Dスキャンと合成データの組み合わせでトレーニングされています。Metaは正確なデータセットサイズを公開していませんが、技術文書で「数百万のオブジェクトインスタンス」と述べています。

SAM 3Dは、複数の解像度で同時に画像を処理し、1回のフォワードパスで細かいディテール(テクスチャ、エッジ)とグローバル構造(全体的な形状、比率)の両方を捉えることができます。

実用的な応用例

✓すぐに使えるユースケース

Eコマース製品ビジュアライゼーション
AR試着体験
ゲームアセットのプロトタイピング
建築ビジュアライゼーション
教育用3Dモデル

✗考慮すべき制限事項

単一視点の再構成には固有の曖昧性があります
オブジェクトの背面は推測されており、観察されていません
高反射性または透明な表面は困難です
非常に薄い構造は適切に再構成されない可能性があります

単一視点の制限は根本的なものです: モデルはオブジェクトの片側しか見ることができません。学習された事前知識に基づいて隠れたジオメトリを推測しますが、これは一般的なオブジェクトではうまく機能しますが、珍しい形状では予期しない結果を生成する可能性がございます。

利用可能性とアクセス

SAM 3Dは、MetaのウェブサイトのSegment Anything Playgroundを通じて現在利用可能です。開発者向けには、Roboflowがドメイン固有のオブジェクトに対するカスタムファインチューニングのための統合をすでに構築しております。

✓Webプレイグラウンド: 現在利用可能
✓APIアクセス: 開発者向けに利用可能
✓Roboflow統合: ファインチューニング準備完了
○ローカルデプロイ: ウェイトは近日公開予定

このAPIは、研究および限定的な商用利用において無料です。大規模な商用アプリケーションには、Metaとの個別の契約が必要となります。

業界への影響

3Dコンテンツ制作への障壁が大幅に低下いたしました。その影響を考えてみましょう:

ゲーム開発者にとって: 迅速なプロトタイピングが簡単になります。実世界のオブジェクトを撮影し、数秒で使用可能な3Dアセットを取得し、そこから反復できます。

Eコマースにとって: 製品写真から自動的にAR プレビュー機能用の3Dモデルを生成できます。別の3D制作パイプラインは不要です。

教育者にとって: 歴史的遺物、生物学的標本、または工学コンポーネントを、既存の写真からインタラクティブな3Dモデルにすることができます。

AR/VRクリエイターにとって: リアルなオブジェクトで仮想環境を構築するのに、広範な3Dモデリングの専門知識は不要になります。

💡

SAM 3(ビデオセグメンテーション)とSAM 3D(3D再構成)の組み合わせにより、ビデオ映像からオブジェクトをセグメント化し、そのセグメント化されたオブジェクトを3Dモデルに変換できるワークフローが可能になります。抽出と再構成が1つのパイプラインで実現されます。

より大きな視点

SAM 3Dは、より広範なトレンドを表しております: AIはクリエイティブワークフローから摩擦を体系的に取り除いています。これは画像生成で見られ、次にビデオ生成、そして今3Dモデリングで見られます。

この技術は完璧ではございません。複雑なシーン、オクルージョン、珍しい素材、または複雑なジオメトリは、依然としてシステムに課題をもたらします。しかし、あらゆる写真を使用可能な3Dメッシュに変換するという基本的な能力は、誰でも利用できるようになりました。

プロの3Dアーティストにとって、これは置き換えではなくツールです。数秒でベースメッシュを生成し、その後手動で洗練させます。退屈な初期モデリング段階が数時間から数秒に短縮され、本当に人間の判断を必要とするクリエイティブな作業により多くの時間を残します。

Metaのリリースは、2Dから3Dへの障壁が崩壊しつつあることを示しております。現在の問いは、AIが画像から3Dコンテンツを作成できるかどうかではありません。この能力がすべてのクリエイティブツールの標準機能になるまで、どのくらいの時間がかかるかということです。