월드 모델: AI 동영상 생성의 새로운 지평

프레임에서 세계로

기존 동영상 생성 모델은 정교한 플립북 아티스트처럼 작동합니다. 텍스트 프롬프트에 의해 안내되면서 이전 프레임을 기반으로 다음 프레임이 어떻게 보여야 하는지 예측합니다. 이는 작동하지만 근본적인 제약이 있습니다.

월드 모델은 다른 접근 방식을 취합니다. "다음 프레임은 어떻게 보여야 하는가?"가 아니라 "이 환경은 어떻게 동작하는가?"를 묻습니다. 이 차이는 미묘해 보일 수 있지만 모든 것을 변화시킵니다.

프레임 예측기에게 언덕을 굴러 내려가는 공을 생성하도록 지시하면 훈련 데이터를 기반으로 그것이 어떻게 보일지 근사치를 계산합니다. 월드 모델에게 같은 것을 지시하면 물리 법칙을 시뮬레이션합니다. 중력이 공을 가속시키고, 잔디와의 마찰이 속도를 늦추며, 운동량이 반대편 경사를 올라가게 합니다.

Runway의 GWM-1이 실제로 하는 일

Runway는 2025년 12월에 GWM-1(General World Model 1)을 출시했으며, 이는 세계 시뮬레이션을 위한 첫 번째 공개 단계를 나타냅니다. 이 모델은 사물이 어떻게 보이는지뿐만 아니라 시간이 지남에 따라 어떻게 진화하는지를 이해하는 시스템인 "동적 시뮬레이션 환경"을 생성합니다.

이 출시 시기가 중요합니다. 이 출시는 Gen-4.5가 Video Arena에서 1위를 차지하고 OpenAI Sora 2를 4위로 밀어낸 것과 동시에 이루어졌습니다. 이들은 무관한 성과가 아닙니다. 물체가 현실적인 무게, 운동량, 힘으로 움직이는 Gen-4.5의 물리적 정확도 향상은 월드 모델 연구가 아키텍처에 영향을 준 결과일 가능성이 높습니다.

이것이 모든 것을 바꾸는 이유

1. 실제로 작동하는 물리 법칙

현재 동영상 모델이 물리 법칙에 어려움을 겪는 이유는 물리 법칙을 본 적은 있지만 경험한 적이 없기 때문입니다. 떨어진 물체가 떨어진다는 것은 알지만 궤적을 계산하는 것이 아니라 근사치를 계산합니다. 월드 모델은 이 관계를 뒤집습니다.

이것이 Sora 2의 물리 시뮬레이션이 사람들에게 깊은 인상을 준 이유입니다. OpenAI는 물리적 이해에 많은 투자를 했습니다. 월드 모델은 이러한 접근 방식을 공식화합니다.

2. 트릭 없는 시간적 일관성

AI 동영상의 가장 큰 문제점은 시간 경과에 따른 일관성이었습니다. 캐릭터가 외모를 바꾸고, 물체가 순간이동하며, 환경이 무작위로 변합니다. 모델이 크로스 프레임 어텐션과 같은 아키텍처 혁신을 통해 얼굴을 기억하는 방법을 학습하는 방법을 탐구했습니다.

월드 모델은 더 우아한 솔루션을 제공합니다. 시뮬레이션이 엔티티를 가상 공간의 영구 객체로 추적하면 무작위로 변경되거나 사라질 수 없습니다. 공은 시뮬레이션된 세계에 존재합니다. 시뮬레이션의 무언가가 변경할 때까지 지속되는 속성(크기, 색상, 위치, 속도)을 가지고 있습니다.

3. 더 긴 동영상이 가능해짐

현재 모델은 시간이 지남에 따라 저하됩니다. CraftStory의 양방향 확산은 나중 프레임이 이전 프레임에 영향을 미치도록 하여 5분 동영상을 향해 나아갑니다. 월드 모델은 같은 문제에 다르게 접근합니다. 시뮬레이션이 안정적이면 원하는 만큼 오래 실행할 수 있습니다.

주의사항 (항상 주의사항은 있습니다)

월드 모델은 모든 동영상 생성 문제에 대한 솔루션처럼 들립니다. 적어도 아직은 그렇지 않습니다.

계산 비용

세계를 시뮬레이션하는 것은 비용이 많이 듭니다. LTX-2와 같은 프로젝트의 덕분에 프레임 예측은 소비자용 GPU에서 실행할 수 있습니다. 세계 시뮬레이션은 상태 유지, 객체 추적, 물리 계산 실행이 필요합니다. 이로 인해 하드웨어 요구 사항이 크게 증가합니다.

세계 규칙 학습은 어렵습니다

모델에 사물이 어떻게 보이는지 가르치는 것은 간단합니다. 수백만 개의 예를 보여주기만 하면 됩니다. 모델에 세계가 어떻게 작동하는지 가르치는 것은 더 모호합니다. 물리 법칙은 동영상 데이터에서 학습할 수 있지만 어느 정도까지만 가능합니다. 모델은 떨어진 물체가 떨어지는 것을 보지만 영상을 보는 것으로부터 중력 상수를 도출할 수는 없습니다.

창작 제어 문제

모델이 물리 법칙을 시뮬레이션하는 경우 누가 어떤 물리 법칙을 결정합니까? 때로는 현실적인 중력이 필요하고, 때로는 캐릭터가 떠다니기를 원합니다. 월드 모델은 창작자가 비현실적인 결과를 원할 때 시뮬레이션을 재정의하는 메커니즘이 필요합니다.

업계가 향하는 방향

Runway만이 이 방향으로 나아가는 것은 아닙니다. 확산 트랜스포머 뒤에 있는 아키텍처 논문은 수개월 동안 이러한 전환을 암시해 왔습니다. 문제는 항상 언제였지 만약이 아니었습니다.

엔터프라이즈의 관심은 주목할 만합니다. Runway는 Ubisoft에 조기 액세스를 제공했으며, Disney는 Sora 통합을 위해 OpenAI에 10억 달러를 투자했습니다. 이들은 빠른 소셜 미디어 클립 생성에 관심이 있는 회사가 아닙니다. 게임 환경을 시뮬레이션하고, 일관된 애니메이션 캐릭터를 생성하며, 전문적인 검증을 견딜 수 있는 콘텐츠를 제작할 수 있는 AI를 원합니다.

크리에이터에게 의미하는 바

• ✓동영상 일관성이 극적으로 향상됨
• ✓물리 집약적 콘텐츠가 실현 가능해짐
• ✓품질 붕괴 없이 더 긴 생성 가능
• ○초기 비용은 프레임 예측보다 높을 것임
• ○창작 제어 메커니즘은 여전히 진화 중

오늘날 AI 동영상을 제작하고 있다면 월드 모델은 즉시 채택해야 할 것이 아닙니다. 하지만 주목할 가치가 있습니다. 올해 초에 게시한 Sora 2, Runway, Veo 3 간의 비교는 이러한 플랫폼에 월드 모델 기능이 출시되면서 업데이트가 필요할 것입니다.

현재 실용적인 사용에서 차이점은 특정 사용 사례에서 중요합니다.

• 제품 시각화: 월드 모델이 여기서 뛰어난 성능을 발휘합니다. 서로 상호 작용하는 물체에 대한 정확한 물리 법칙입니다.
• 추상 예술: 프레임 예측이 실제로 더 바람직할 수 있습니다. 시뮬레이션된 현실이 아니라 예상치 못한 시각적 출력을 원하기 때문입니다.
• 캐릭터 애니메이션: 월드 모델과 아이덴티티 보존 기술을 결합하면 일관성 문제를 마침내 해결할 수 있습니다.

더 큰 그림

월드 모델은 AI 동영상이 성숙해지고 있음을 나타냅니다. 프레임 예측은 짧은 클립, 시각적 참신함, 개념 증명 데모를 생성하는 데 충분했습니다. 세계 시뮬레이션은 콘텐츠가 일관성 있고, 물리적으로 그럴듯하며, 확장 가능해야 하는 실제 제작 작업에 필요한 것입니다.

Runway가 100명의 팀으로 벤치마크에서 Google과 OpenAI를 이긴 것은 중요한 것을 알려줍니다. 올바른 아키텍처 접근 방식이 리소스보다 중요하다는 것입니다. 월드 모델이 그 접근 방식일 수 있습니다. Runway의 베팅이 성공하면 차세대 동영상 AI를 정의하게 될 것입니다.

그리고 물리 시뮬레이션이 충분히 좋아지면, 우리는 더 이상 동영상을 생성하는 것이 아닙니다. 한 번에 하나의 시뮬레이션으로 가상 세계를 구축하고 있는 것입니다.