世界模型:AI视频生成的下一个前沿

从帧到世界

传统视频生成模型的工作方式类似于精密的翻页动画师。它们根据之前的帧预测下一帧应该是什么样子,并由您的文本提示引导。这是有效的,但存在根本性的局限。

世界模型采用了不同的方法。它们不是问"下一帧应该是什么样子?",而是问"这个环境如何表现?"这个区别听起来很微妙,但它改变了一切。

当您告诉帧预测器生成一个球滚下山坡时,它会根据训练数据近似计算出那可能是什么样子。当您告诉世界模型同样的事情时,它会模拟物理:重力加速球,与草的摩擦使其减速,动量将其带上对面的斜坡。

Runway的GWM-1实际上做什么

Runway在2025年12月发布了GWM-1(通用世界模型1),这代表了他们进入世界模拟的第一个公开步骤。该模型创建了他们所称的"动态模拟环境",这些系统不仅理解事物如何呈现,还理解它们如何随时间演变。

时机很重要。此次发布与Gen-4.5在Video Arena上排名第一同时进行,将OpenAI Sora 2推到了第4位。这些不是无关的成就。Gen-4.5在物理准确性方面的改进(物体以现实的重量、动量和力移动)很可能源于世界模型研究影响其架构。

为什么这改变了一切

1. 真正有效的物理

当前的视频模型在物理方面遇到困难,因为它们只是看到过物理,从未经历过。它们知道掉落的物体会下落,但它们近似轨迹而不是计算它。世界模型颠覆了这种关系。

这就是为什么Sora 2的物理模拟给人们留下深刻印象:OpenAI在物理理解方面投入了大量资金。世界模型将这种方法正式化。

2. 无需技巧的时间一致性

AI视频中最大的痛点一直是随时间的一致性。角色改变外观,物体瞬移,环境随机变化。我们探索了模型如何通过跨帧注意力等架构创新学习记住面孔。

世界模型提供了一个更优雅的解决方案:如果模拟将实体作为虚拟空间中的持久对象进行跟踪,它们就不能随机改变或消失。球存在于模拟世界中。它具有在模拟中某些内容改变它们之前持续存在的属性(大小、颜色、位置、速度)。

3. 更长的视频成为可能

当前模型会随时间退化。CraftStory的双向扩散通过让后面的帧影响前面的帧来推动5分钟视频。世界模型以不同的方式处理同样的问题:如果模拟是稳定的,您可以运行任意长的时间。

注意事项(总是有注意事项)

世界模型听起来像是解决所有视频生成问题的方案。至少目前还不是。

计算成本

模拟世界是昂贵的。由于LTX-2等项目的工作,帧预测可以在消费级GPU上运行。世界模拟需要维护状态、跟踪对象、运行物理计算。这大大提高了硬件要求。

学习世界规则很困难

教模型事物看起来像什么是简单的:向它展示数百万个例子。教模型世界如何工作则更模糊。物理可以从视频数据中学习,但仅限于一定程度。模型看到掉落的物体会下落,但它无法从观看视频中推导出引力常数。

创意控制问题

如果模型正在模拟物理,谁来决定什么物理?有时您想要真实的重力。有时您想让角色漂浮。世界模型需要机制来在创作者想要不真实的结果时覆盖其模拟。

行业走向何方

Runway并不是唯一朝这个方向发展的。扩散变换器背后的架构论文几个月来一直在暗示这种转变。问题始终是何时,而不是是否。

企业的兴趣很能说明问题。Runway为Ubisoft提供了早期访问,Disney为Sora集成向OpenAI投资了10亿美元。这些公司对生成快速社交媒体片段不感兴趣。他们想要能够模拟游戏环境、生成一致的动画角色、制作经得起专业审查的内容的AI。

这对创作者意味着什么

• ✓视频一致性将大幅提高
• ✓物理密集型内容变得可行
• ✓更长的生成而不会质量崩溃
• ✓成本最初将高于帧预测
• ✓创意控制机制仍在发展

如果您今天正在制作AI视频,世界模型不是您需要立即采用的东西。但它们值得关注。我们今年早些时候发布的Sora 2、Runway和Veo 3之间的比较将需要在世界模型功能在这些平台上推出时进行更新。

对于现在的实际使用,差异对特定用例很重要:

• 产品可视化:世界模型将在这里表现出色。对象彼此交互的精确物理。
• 抽象艺术:帧预测实际上可能更可取。您想要意外的视觉输出,而不是模拟现实。
• 角色动画:世界模型加上身份保持技术可能最终解决一致性问题。

更大的图景

世界模型代表AI视频正在成熟。帧预测足以生成短片、视觉新奇事物、概念验证演示。世界模拟是真正的制作工作所需要的,其中内容必须一致、物理上合理且可扩展。

Runway以100人的团队在基准测试中击败Google和OpenAI告诉我们一些重要的事情:正确的架构方法比资源更重要。世界模型可能就是那种方法。如果Runway的赌注成功,他们将定义下一代视频AI。

如果物理模拟变得足够好?我们不再只是生成视频了。我们正在构建虚拟世界,一次一个模拟。