World Labs Marble：李飞飞的空间智能愿景

赋予机器视觉能力的研究者，现在正在教它们想象整个世界。通过World Labs Marble，李飞飞迈出了超越视频生成的下一步，进入持久的、可探索的3D环境领域。

从ImageNet到世界模型

💡

有关世界模型如何融入AI视频演进的背景，请参阅我们的世界模型作为下一个前沿的概述。

李飞飞通过ImageNet这个使现代深度学习成为可能的数据集，彻底改变了计算机视觉。现在，在筹集了2.3亿美元资金并构建World Labs一年后，她推出了该公司的首个商业产品Marble。

论点很简单：AI已经征服了文本，然后是图像，再然后是视频。下一个前沿是空间智能，即感知、生成和与3D世界交互的能力。

$230M

融资金额

定价层级

原生输出

Marble的功能

Marble从多种输入类型生成持久的、可下载的3D环境：

✓文本提示
✓单张图像
✓视频
✓全景图
✓3D布局

与Decart的Oasis或Google的Genie等竞争对手的实时世界模型不同，Marble创建的是变形最小的稳定世界。您只需生成一次，然后就可以自由探索，AI不会"忘记"它所创建的内容。

Chisel编辑器

🔨

AI原生3D编辑

Chisel将空间结构与视觉风格分离。首先勾勒出布局，然后应用基于文本的风格指导。

这种混合方法使Marble与文本到场景模型区分开来。与其希望AI理解您的空间意图，不如明确定义几何形状。AI负责处理美学、材质和照明。

可以把它想象成在请室内设计师装饰之前先勾勒平面图。对空间关系的控制权仍掌握在您手中。

导出格式和兼容性

生成的世界以三种格式导出：

格式	用例
Gaussian Splats	实时渲染、新视角
网格	游戏引擎、CAD集成
视频	内容创作、预览

💡

所有Marble世界都与Vision Pro和Quest 3头显开箱即用地兼容VR。

定价结构

World Labs提供四个层级：

层级	价格	生成次数	主要功能
Free	$0	每月4次	文本、图像或全景图输入
Standard	$20/月	每月12次	多图像/视频输入、高级编辑
Pro	$35/月	每月25次	场景扩展、商业权利
Max	$95/月	每月75次	所有功能、最大生成次数

免费层级让您可以评估该技术。对于需要商业权利的生产工作，每月35美元的Pro层级代表了这种新颖能力的合理入门价格。

空间智能为何重要

"空间智能是未来十年的决定性挑战。" - 李飞飞

李飞飞认为当前的AI存在一个根本性限制：它对3D空间的推理能力较差。语言模型会产生物理幻觉。视频模型会创建不可能的几何形状。图像生成器难以处理一致的空间关系。

✗当前方法

视频模型在没有真正3D理解的情况下生成帧序列。摄像机移动会暴露不一致性。物体会改变位置或消失。

✓空间智能

原生3D表示能够实现物理一致的世界。自由移动摄像机。环境之所以持久，是因为它以几何形式存在，而非像素。

对于机器人技术来说，这一点极为重要。在厨房中导航的机器人需要空间理解，而非帧预测。对于视觉特效，导演需要可探索的环境，而非固定的摄像机路径。

成形中的用例

游戏开发 生成环境氛围和背景空间。独立开发者可以创建需要传统美术制作数月时间的探索区域。

视觉特效 预览变得可交互。在空间上勾勒场景，然后在确定镜头之前探索摄像机角度。

建筑设计 将平面图转换为可探索的漫游。客户可以在施工开始之前体验空间。

教育李飞飞设想学生在细胞内部行走，外科医生在解剖模拟中练习。

世界扩展和合成器模式

两个功能解决了规模限制：

世界扩展允许您扩展生成的世界一次，为质量通常会下降的边缘区域添加细节。这将可探索空间的边界推向了初始生成限制之外。

合成器模式将多个世界组合成更大的环境。生成单个房间，然后将它们拼接成完整的建筑。

这些工具在承认当前限制的同时提供了实用的解决方案。

竞争格局

Marble进入了一个拥挤的领域：

产品	方法	差异化因素
Decart Oasis	实时游戏生成	可交互，但探索期间世界会变化
Google Genie	游戏世界生成	无真正3D的帧预测
Odyssey	持久世界模型	企业重点
World Labs Marble	静态3D生成	可下载、可编辑、VR就绪

权衡很明显。像Oasis这样的实时模型提供即时性但不稳定。Marble优先考虑持久性和可编辑性而非交互性。

与视频生成的联系

💡

有关空间AI中使用的扩散架构的背景，请参阅我们的扩散变换器技术概述。

3D世界生成与视频有何关联？它们在扩散模型中共享数学基础，但解决不同的问题。

视频生成创建时间序列，逐帧生成。空间AI创建几何表示、表面和体积。视频回答"接下来会发生什么？"空间AI回答"这里存在什么？"

融合点是可导航视频。生成一个3D世界，然后在其中移动时渲染视频。这种方法提供了纯视频生成无法实现的摄像机控制。

需要考虑的限制

Marble不是完整的解决方案：

✓无动画角色或动态元素
✓生成上限可能限制生产工作流程
✓边缘退化需要扩展通道
✓仅限静态环境

对于动画内容，您仍然需要视频生成模型。Marble擅长环境和空间，而非演员或动作。

更大的蓝图

李飞飞将空间智能视为AI进步的关键：

"我认为我们所有人都有责任在AI变得更强大时引导它进入更好的状态。我们所有人都应该希望人类能够胜利和繁荣。"

她的愿景超越了娱乐。医学模拟，学生探索解剖结构。科学可视化，研究人员导航分子结构。按需生成的机器人训练环境。

Marble是第一步，是商业概念验证。研究继续朝着更动态、更具交互性和物理上更准确的世界生成方向发展。

开始使用

World Labs提供免费层级，每月可生成4次。足以评估该技术并了解其限制。

对于已经从事3D工作的创作者，网格导出功能可与现有流程集成。对于视频制作人，视频导出提供了其他地方无法获得的预览功能。

💡

相关阅读：我们的AI视频角色一致性指南涵盖了在生成内容中保持连贯性的技术，这是Marble通过持久3D表示所解决的挑战。

从2D生成到3D世界创建的转变代表了AI所能产生内容的根本转变。Marble使这一转变变得可及。