World Labs Marble: Fei-Fei Li의 공간 지능 비전

기계에게 시각을 선물한 연구자가 이제 전체 세계를 상상하는 능력을 가르치고 있습니다. World Labs Marble을 통해 Fei-Fei Li는 비디오 생성을 넘어 지속적이고 탐색 가능한 3D 환경이라는 다음 단계로 나아갑니다.

ImageNet에서 월드 모델로

💡

월드 모델이 AI 비디오 진화에 어떻게 적용되는지에 대한 맥락은 차세대 프론티어로서의 월드 모델 개요를 참조하세요.

Fei-Fei Li는 현대 딥러닝을 가능하게 만든 데이터셋인 ImageNet으로 컴퓨터 비전에 혁명을 일으켰습니다. 그리고 이제 2억 3천만 달러의 자금 조달을 통해 1년 동안 World Labs를 구축한 후, 회사의 첫 상용 제품인 Marble을 출시했습니다.

그 논리는 간단합니다. AI는 텍스트를 정복했고, 다음으로 이미지, 그리고 비디오를 정복했습니다. 다음 프론티어는 공간 지능, 즉 3D 세계를 인식하고, 생성하고, 상호작용하는 능력입니다.

$230M

조달 자금

가격 계층

네이티브 출력

Marble이 하는 일

Marble은 여러 입력 유형에서 지속적이고 다운로드 가능한 3D 환경을 생성합니다.

✓텍스트 프롬프트
✓단일 이미지
✓비디오
✓파노라마
✓3D 레이아웃

Decart의 Oasis나 Google의 Genie와 같은 경쟁사의 실시간 월드 모델과 달리, Marble은 변형을 최소화한 안정적인 세계를 만듭니다. 한 번 생성하면 AI가 만든 것을 "잊어버리지" 않고 자유롭게 탐색할 수 있습니다.

Chisel 에디터

🔨

AI 네이티브 3D 편집

Chisel은 공간 구조와 시각적 스타일을 분리합니다. 먼저 레이아웃을 블록화한 다음 텍스트 기반 스타일링 가이던스를 적용합니다.

이 하이브리드 접근 방식은 Marble을 텍스트-투-씬 모델과 차별화합니다. AI가 공간적 의도를 이해하기를 바라는 대신 기하학을 명시적으로 정의합니다. AI는 미학, 재료 및 조명을 처리합니다.

인테리어 디자이너에게 꾸미도록 요청하기 전에 평면도를 스케치하는 것과 같다고 생각하시면 됩니다. 공간적 관계에 대한 제어는 여러분에게 있습니다.

내보내기 형식 및 호환성

생성된 세계는 세 가지 형식으로 내보내집니다.

형식	사용 사례
Gaussian Splats	실시간 렌더링, 새로운 뷰
메쉬	게임 엔진, CAD 통합
비디오	콘텐츠 제작, 프리비주얼라이제이션

💡

모든 Marble 세계는 Vision Pro 및 Quest 3 헤드셋과 즉시 사용 가능한 VR 호환성을 갖추고 있습니다.

가격 구조

World Labs는 네 가지 계층을 제공합니다.

계층	가격	생성 수	주요 기능
Free	$0	월 4회	텍스트, 이미지 또는 파노라마 입력
Standard	$20/월	월 12회	다중 이미지/비디오 입력, 고급 편집
Pro	$35/월	월 25회	씬 확장, 상업적 권리
Max	$95/월	월 75회	모든 기능, 최대 생성 수

무료 계층을 사용하면 기술을 평가할 수 있습니다. 상업적 권리가 필요한 프로덕션 작업의 경우, 월 35달러의 Pro 계층은 이처럼 혁신적인 기능에 대한 합리적인 진입 가격을 나타냅니다.

공간 지능이 중요한 이유

"공간 지능은 향후 10년을 정의하는 과제입니다." - Fei-Fei Li

Li는 현재 AI에는 근본적인 한계가 있다고 주장합니다. 3D 공간에 대해 제대로 추론하지 못한다는 것입니다. 언어 모델은 물리학을 환각합니다. 비디오 모델은 불가능한 기하학을 만듭니다. 이미지 생성기는 일관된 공간 관계에 어려움을 겪습니다.

✗현재 접근 방식

비디오 모델은 진정한 3D 이해 없이 프레임 시퀀스를 생성합니다. 카메라 움직임은 불일치를 드러냅니다. 객체가 위치를 변경하거나 사라집니다.

✓공간 지능

네이티브 3D 표현은 물리적으로 일관된 세계를 가능하게 합니다. 카메라를 자유롭게 이동하세요. 환경은 픽셀이 아닌 기하학으로 존재하기 때문에 지속됩니다.

로봇 공학에서 이것은 매우 중요합니다. 주방을 탐색하는 로봇에는 프레임 예측이 아닌 공간 이해가 필요합니다. VFX에서 감독은 고정 카메라 경로가 아닌 탐색 가능한 환경이 필요합니다.

구체화되는 사용 사례

게임 개발 주변 환경 및 배경 공간을 생성합니다. 인디 개발자는 기존 아트 제작에 몇 달이 걸릴 탐험 영역을 만들 수 있습니다.

시각 효과 프리비주얼라이제이션이 인터랙티브해집니다. 공간적으로 장면을 블록화한 다음 샷을 확정하기 전에 카메라 앵글을 탐색합니다.

건축 평면도를 탐색 가능한 워크스루로 변환합니다. 고객은 건설이 시작되기 전에 공간을 경험할 수 있습니다.

교육 Li는 학생들이 세포 내부를 걷고 외과의가 해부학적 시뮬레이션 안에서 연습하는 것을 구상합니다.

월드 확장 및 컴포저 모드

두 가지 기능이 규모 제한을 해결합니다.

월드 확장을 사용하면 생성된 세계를 한 번 확장하여 품질이 일반적으로 저하되는 가장자리 영역에 세부 사항을 추가할 수 있습니다. 이렇게 하면 초기 생성 한계를 넘어 탐색 가능한 공간의 경계가 확장됩니다.

컴포저 모드는 여러 세계를 더 큰 환경으로 결합합니다. 개별 방을 생성한 다음 완전한 건물로 연결합니다.

이러한 도구는 현재 제약을 인정하면서 실용적인 해결 방법을 제공합니다.

경쟁 환경

Marble은 혼잡한 분야에 진입합니다.

제품	접근 방식	차별화 요소
Decart Oasis	실시간 게임 생성	인터랙티브하지만 탐색 중 세계가 변화
Google Genie	게임 월드 생성	진정한 3D 없는 프레임 예측
Odyssey	지속적 월드 모델	엔터프라이즈 중심
World Labs Marble	정적 3D 생성	다운로드 가능, 편집 가능, VR 지원

트레이드오프는 분명합니다. Oasis와 같은 실시간 모델은 즉각성을 제공하지만 불안정합니다. Marble은 상호작용성보다 지속성과 편집 가능성을 우선시합니다.

비디오 생성과의 연결

💡

공간 AI에 사용되는 확산 아키텍처에 대한 배경은 확산 트랜스포머의 기술 개요를 참조하세요.

3D 월드 생성은 비디오와 어떤 관련이 있을까요? 둘 다 확산 모델의 수학적 기초를 공유하지만 서로 다른 문제를 해결합니다.

비디오 생성은 시간적 시퀀스, 프레임별로 생성합니다. 공간 AI는 기하학적 표현, 표면 및 볼륨을 생성합니다. 비디오는 "다음에 무슨 일이 일어나는가?"에 답합니다. 공간 AI는 "여기에 무엇이 존재하는가?"에 답합니다.

수렴점은 탐색 가능한 비디오입니다. 3D 세계를 생성한 다음 그 안을 이동하면서 비디오를 렌더링합니다. 이 접근 방식은 순수 비디오 생성으로는 불가능한 카메라 제어를 제공합니다.

고려해야 할 제한 사항

Marble은 완전한 솔루션이 아닙니다.

○애니메이션 캐릭터나 동적 요소 없음
○생성 한도가 프로덕션 워크플로우를 제한할 수 있음
○가장자리 품질 저하에는 확장 패스가 필요
○정적 환경만

애니메이션 콘텐츠의 경우 여전히 비디오 생성 모델이 필요합니다. Marble은 액터나 액션이 아닌 환경과 공간에 뛰어납니다.

더 큰 그림

Fei-Fei Li는 공간 지능을 AI 발전에 필수적인 것으로 봅니다.

"우리 모두는 AI가 더 강력해짐에 따라 더 나은 상태로 이끄는 데 책임이 있다고 생각합니다. 우리 모두는 인류가 승리하고 번영하기를 원해야 합니다."

그녀의 비전은 엔터테인먼트를 넘어 확장됩니다. 학생들이 해부학을 탐색하는 의료 시뮬레이션. 연구자들이 분자 구조를 탐색하는 과학적 시각화. 주문형으로 생성되는 로봇 훈련 환경.

Marble은 1단계, 상용 개념 증명입니다. 연구는 더 동적이고 인터랙티브하며 물리적으로 정확한 월드 생성을 향해 계속됩니다.

시작하기

World Labs는 월 4회 생성이 포함된 무료 계층을 제공합니다. 기술을 평가하고 제약 사항을 이해하기에 충분합니다.

이미 3D로 작업하는 크리에이터의 경우 메쉬 내보내기 기능이 기존 파이프라인과 통합됩니다. 비디오 프로듀서의 경우 비디오 내보내기는 다른 곳에서는 사용할 수 없는 프리비주얼라이제이션 기능을 제공합니다.

💡

관련 읽기: AI 비디오 캐릭터 일관성 가이드는 생성된 콘텐츠 전반에 걸쳐 일관성을 유지하는 기술을 다루며, 이는 Marble이 지속적인 3D 표현을 통해 해결하는 과제입니다.

2D 생성에서 3D 월드 생성으로의 전환은 AI가 생성할 수 있는 것의 근본적인 변화를 나타냅니다. Marble은 그 변화를 접근 가능하게 만듭니다.