비디오 언어 모델: LLM과 AI 에이전트를 잇는 다음 개척지

지난 몇 년 동안 우리는 AI에게 읽고, 쓰고, 복잡한 문제를 추론하는 방법을 가르쳐 왔습니다. 하지만 중요한 사실이 있습니다. 이 모든 것은 디지털 영역 안에서만 일어납니다. ChatGPT는 숲속을 걷는 것에 대한 시를 써줄 수 있지만, 실제로 떨어진 나무토막을 넘어서거나 낮은 나뭇가지 아래로 고개를 숙이는 느낌이 무엇인지는 전혀 알지 못합니다.

월드 모델은 이를 바꾸기 위해 등장했습니다.

비디오 언어 모델이란 무엇인가?

이들을 비전 언어 모델(Vision-Language Model)의 진화형으로 생각하되, 시간적 이해라는 결정적인 요소가 추가된 것으로 볼 수 있습니다. 일반적인 VLM이 단일 이미지를 보고 질문에 답한다면, 비디오 언어 모델은 연속된 시퀀스가 펼쳐지는 과정을 관찰하며 물리적 현실을 지배하는 규칙을 학습합니다.

이것은 단순한 학술적 호기심이 아닙니다. 이 모델이 가져올 실용적인 파급력은 놀라울 정도입니다.

로봇이 커피 잔을 집어 들어야 할 때, 단순히 이미지 속에서 "잔"을 인식하는 것만으로는 부족합니다. 로봇은 다음 사항들을 이해해야 합니다:

• ✓밀거나 들어 올릴 때 물체가 어떻게 행동하는지
• ✓액체가 찰랑거릴 때 어떤 일이 일어나는지
• ✓자신의 움직임이 장면에 어떤 영향을 미치는지
• ✓어떤 행동이 물리학적으로 가능하고 불가능한지

바로 이 지점에서 월드 모델이 활약합니다.

시뮬레이션에서 행동으로

개념은 명쾌합니다. 물리 규칙을 직접 하드코딩하는 대신, 세상이 실제로 어떻게 작동하는지 보여주는 수백만 시간 분량의 비디오로 AI를 학습시킵니다. 모델은 방정식이 아니라 관찰을 통해 중력, 마찰력, 물체 영속성(object permanence), 그리고 인과관계를 학습합니다.

NVIDIA의 Cosmos는 이러한 시도 중 가장 야심 찬 프로젝트 중 하나입니다. NVIDIA의 자체 월드 모델은 물리적 현실에 대한 이해가 선택이 아닌 생존의 문제인 로보틱스 응용 분야를 위해 특별히 설계되었습니다.

Google DeepMind의 Genie 3는 다른 접근 방식을 취합니다. 모델을 비디오 게임 환경처럼 "플레이"할 수 있는 상호작용형 월드 생성에 초점을 맞추고 있습니다.

PAN 실험

모하메드 빈 자예드 인공지능 대학(MBZUAI)의 연구진은 최근 통제된 시뮬레이션 내에서 이들이 "사고 실험(thought experiments)"이라 부르는 과정을 수행하는 범용 월드 모델인 PAN을 공개했습니다.

핵심 혁신은 월드 모델링을 생성형 비디오 문제로 다루는 것입니다. 물리학을 명시적으로 프로그래밍하는 대신, 모델은 물리 법칙을 준수하는 비디오 연속 장면을 생성하도록 학습합니다. 시작 장면과 제안된 행동이 주어지면, 모델은 다음에 일어날 일을 "상상"할 수 있습니다.

이는 로보틱스 분야에 엄청난 시사점을 줍니다. 휴머노이드 로봇이 커피 잔에 손을 뻗기 전에 수백 번의 시뮬레이션을 실행하여, 어떤 접근 각도가 성공하고 어떤 각도가 바닥에 커피를 쏟는지 미리 학습할 수 있습니다.

10억 대의 로봇이 함께하는 미래

이 수치들은 극적인 효과를 위해 임의로 뽑아낸 수치가 아닙니다. 업계의 전망은 휴머노이드 로봇이 스마트폰만큼 보편화될 미래를 실제로 가리키고 있습니다. 그리고 그 로봇들 하나하나가 인간과 함께 안전하게 기능하려면 월드 모델이 필요합니다.

적용 분야는 휴머노이드 로봇에만 국한되지 않습니다:

비디오 생성과 세상에 대한 이해가 만나는 지점

AI 비디오 생성 기술을 계속 지켜봐 오셨다면 약간의 중첩되는 부분을 느끼셨을 것입니다. Sora 2 및 Veo 3와 같은 도구들은 이미 놀라울 정도로 리얼한 비디오를 생성합니다. 이들도 월드 모델에 해당할까요?

그렇기도 하고 아니기도 합니다.

OpenAI는 Sora가 세계 시뮬레이션 능력을 갖추고 있다고 명시적으로 밝힌 바 있습니다. 이 모델은 물리학에 대해 분명히 무언가를 이해하고 있습니다. Sora가 생성한 비디오를 보면 사실적인 조명, 타당한 움직임, 그리고 대부분 올바르게 행동하는 물체들을 볼 수 있습니다.

하지만 그럴듯해 보이는 비디오를 생성하는 것과 물리적 인과관계를 진정으로 이해하는 것 사이에는 결정적인 차이가 있습니다. 현재의 비디오 생성기는 시각적 사실성에 최적화되어 있습니다. 반면 월드 모델은 예측 정확도에 최적화되어 있습니다.

환각(Hallucination) 문제

불편한 진실이 하나 있습니다. 월드 모델도 LLM을 괴롭히는 것과 동일한 환각 문제를 겪는다는 점입니다.

ChatGPT가 거짓 사실을 당당하게 말할 때는 짜증이 나는 정도입니다. 하지만 월드 모델이 로봇이 벽을 뚫고 걸어갈 수 있다고 당당하게 예측한다면, 이는 위험합니다.

현재 시스템들은 시퀀스가 길어질수록 미래를 예측하는 거리가 멀어지면서 일관성을 잃고 성능이 저하됩니다. 이로 인해 근본적인 딜레마가 발생합니다. 가장 유용한 예측은 장기 예측이지만, 동시에 가장 신뢰할 수 없다는 점입니다.

연구자들은 여러 각도에서 이 문제에 접근하고 있습니다. 일부는 더 나은 학습 데이터에 집중합니다. 다른 연구자들은 장면 일관성을 유지하는 아키텍처 혁신을 연구합니다. 또 다른 이들은 학습된 월드 모델과 명시적인 물리적 제약 조건을 결합하는 하이브리드 방식을 제안합니다.

Qwen 3-VL의 획기적 도약

비전 언어 분야에서는 알리바바의 Qwen 3-VL이 오픈소스 모델 중 현재 최고 수준(State of the art)을 보여줍니다.

Qwen 3-VL을 특히 흥미롭게 만드는 것은 "에이전틱(agentic)" 기능입니다. 이 모델은 그래픽 인터페이스를 조작하고, UI 요소를 인식하고, 그 기능을 이해하며, 도구 호출을 통해 실제 작업을 수행할 수 있습니다.

이것이 바로 월드 모델에 필요한 이해와 행동 사이의 다리입니다.

이것이 크리에이터에게 중요한 이유

비디오 크리에이터, 영화 제작자, 애니메이터라면 월드 모델이 일상적인 작업과 다소 멀게 느껴질 수 있습니다. 하지만 그 영향은 생각보다 가까이에 있습니다.

이미 겪고 계신 증상들

현재의 AI 비디오 도구들은 물리적 일관성을 유지하는 데 어려움을 겪고 있으며, 이러한 실패에는 공통적인 원인이 있습니다:

• 물체가 서로를 뚫고 지나갑니다. 모델 내에서 물체를 공간을 차지하는 존재로 표현하는 요소가 없기 때문입니다.
• 중력이 샷마다 일정하지 않게 작용합니다. 각 샷이 독립적으로 샘플링되기 때문입니다.
• 원인과 결과가 엉킵니다. 모델이 다음에 무슨 일이 일어날지가 아니라 프레임이 어떻게 보일지를 예측하고 있기 때문입니다.

이 모든 것은 리얼한 픽셀은 생성할 수 있지만 자신이 묘사하는 대상의 근본적인 물리 규칙을 진정으로 이해하지는 못하는 모델들의 증상입니다.

월드 모델이 바꾸는 것들

월드 모델은 단순히 마지막 프레임만이 아니라 장면 자체에 대한 표현(representation)을 유지하는 시스템입니다. 이 차이 덕분에 카메라인 시선이 떠났다가 다시 돌아와도 물체가 원래 있던 자리에 그대로 유지될 수 있습니다.

방대한 비디오 데이터셋으로 학습된 월드 모델은 결국 비디오 생성 기술로 환원되어, 물리 법칙을 본질적으로 준수하는 AI 도구를 만들어낼 것입니다. 모델이 이미 현실이 어떻게 작동하는지 알고 있기 때문에 "사실적인 물리학"에 대해 프롬프트를 작성할 필요가 없는 비디오 생성기를 상상해 보세요.

다음 프로젝트에 이것이 의미하는 바

현재 제품 형태로 제공되어 사용할 수 있는 것은 없으며, 이에 따른 솔직한 권장 사항은 다음과 같습니다.

• 이번 분기에 비디오를 제작하여 전달해야 하는 경우: 월드 모델은 완전히 무시하고, 샷 길이, 인물/객체 일관성, 초당 비용 등 현재 존재하는 기준에 따라 선택하세요. 물리학을 추론하는 모델은 후보 목록에 없습니다. 실제로 존재하는 모델이 없기 때문입니다.
• 내년 파이프라인을 계획 중인 경우: 지켜볼 만한 핵심 기준은 생성기가 물체가 프레임 밖으로 나갔다가 돌아왔을 때 안정적으로 유지하는지 여부입니다. 이 단 하나의 테스트가 월드 모델과 매우 뛰어난 프레임 예측기를 구분 지으며, 약 1분 만에 어떤 도구에서든 테스트해 볼 수 있습니다.
• 무엇을 배울지 고민 중인 경우: 프롬프트 문구를 다듬는 것보다 모델의 한계에 맞춰 샷을 기획하는 스킬이 훨씬 유용합니다. 한계는 천천히 바뀌지만, 프롬프트 방식은 버전이 새로 나올 때마다 바뀌기 때문입니다.

편집되지 않은 연속 샷(uncut shot)을 보여주지 않으면서 물리적 이해도를 홍보하는 도구는 일단 의심해 보는 것이 좋습니다. 그 데모는 제작비용이 저렴하므로, 출시 시 데모가 없다는 것은 충분히 주목할 만한 부분입니다.

앞으로의 여정

월드 모델은 인간이 현실을 이해하는 방식대로 기계에 물리적 현실을 이해시키는, AI 분야에서 아마도 가장 야심 찬 목표일 것입니다. 명시적인 프로그래밍이 아니라 관찰, 추론, 그리고 상상을 통해서 말이죠.

우리는 아직 초기 단계에 있습니다. 현재의 시스템들은 인상적인 시연에 불과하며, 실무에 즉시 투입 가능한 솔루션은 아닙니다. 하지만 나아가는 방향은 명확합니다.

NVIDIA, Google DeepMind, OpenAI 및 수많은 스타트업 등 이 분야에 과감히 투자하고 있는 기업들은 물리적 지능이 디지털 지능을 잇는 다음 개척지가 될 것이라는 데 사활을 걸고 있습니다.

LLM이 텍스트 기반 작업에 얼마나 혁신적이었는지를 고려하면, AI가 물리적 세계를 인간처럼 능숙하게 이해하고 상호작용할 수 있게 되었을 때 가져올 파급력을 상상해 보세요.

이것이 바로 비디오 언어 모델이 약속하는 미래입니다. 이것이 바로 이 개척지가 중요한 이유입니다.

---

출처

• Morgan Stanley: 2050년까지 전 세계 휴머노이드 로봇 인구 10억 명 육박 전망 (Morgan Stanley)