AI 비디오의 물리 시뮬레이션: 모델이 마침내 현실의 법칙을 존중하게 된 이유

농구공 문제

OpenAI는 Sora 2를 출시할 때 이를 완벽하게 설명했습니다. 이전 모델에서는 농구공이 후프를 빗나가도 단순히 네트 안에 나타났습니다. 모델은 서사적 결과(공이 바스켓에 들어감)는 알았지만 그 과정을 지배해야 하는 물리적 제약에 대한 개념이 없었습니다.

이것은 사소한 버그가 아니었습니다. 근본적인 아키텍처 한계의 증상이었습니다. 초기 비디오 생성 모델은 시각적 패턴 매칭에 뛰어났고, 개별적으로는 그럴듯해 보이지만 연속으로 볼 때 물리적으로 일관성이 없는 프레임을 생성했습니다.

물리적 이해의 세 가지 기둥

물리 시뮬레이션의 돌파구는 세 가지 상호 연결된 발전에 기반합니다. 월드 모델, 사고의 연쇄 추론, 그리고 개선된 시간적 어텐션 메커니즘입니다.

월드 모델 vs 프레임 예측

기존 비디오 생성은 작업을 순차적 프레임 예측으로 처리했습니다. 프레임 1부터 N까지 주어지면 프레임 N+1을 예측합니다. 이 접근 방식은 기본 물리 상태의 명시적 표현이 없기 때문에 본질적으로 물리학에 어려움을 겪습니다.

월드 모델은 근본적으로 다른 접근 방식을 취합니다. 픽셀을 직접 예측하는 대신, 먼저 객체 위치, 속도, 재질, 상호작용을 포함한 장면의 물리 상태에 대한 내부 표현을 구축합니다. 그런 다음에야 이 상태를 시각적 프레임으로 렌더링합니다. 월드 모델 분석에서 깊이 탐구한 이 접근 방식은 비디오 생성에 대한 사고방식의 패러다임 전환을 나타냅니다.

비디오를 위한 사고의 연쇄

2025년 말에 출시된 Kling O1은 비디오 생성에 사고의 연쇄 추론을 도입했습니다. 프레임을 생성하기 전에 모델은 장면에서 물리적으로 무엇이 일어나야 하는지 명시적으로 추론합니다.

유리잔이 테이블에서 떨어지는 장면의 경우 모델은 먼저 다음과 같이 추론합니다.

• 유리잔의 초기 속도는 0, 위치는 테이블 가장자리
• 중력이 유리잔을 9.8 m/s²로 아래로 가속
• 약 0.45초 후 유리잔이 바닥에 접촉
• 유리잔 재질은 취성, 바닥은 단단한 표면
• 충격이 파괴 임계값을 초과, 유리잔이 산산조각
• 파편이 운동량 보존에 따라 흩어짐

이 명시적 추론 단계는 픽셀이 생성되기 전에 모델의 잠재 공간에서 발생합니다. 그 결과 시각적 미학뿐만 아니라 인과 관계도 존중하는 비디오가 생성됩니다.

대규모 시간적 어텐션

이러한 발전을 가능하게 하는 아키텍처 기반은 시간적 어텐션입니다. 이는 비디오 모델이 프레임 간 일관성을 유지하는 메커니즘입니다. 현대 비디오 모델을 구동하는 디퓨전 트랜스포머 아키텍처는 비디오를 시공간 패치로 처리하여 어텐션이 프레임 내에서 공간적으로, 프레임 간에 시간적으로 흐를 수 있게 합니다.

현대 비디오 모델은 비디오당 수백만 개의 시공간 패치를 처리하며, 물리적 일관성에 전념하는 특수 어텐션 헤드를 갖추고 있습니다. 이 규모 덕분에 모델은 수백 프레임에 걸쳐 객체 정체성과 물리 상태를 추적하며, 이전 아키텍처에서는 불가능했던 일관성을 유지할 수 있습니다.

실제 물리 벤치마크

물리 시뮬레이션 품질을 실제로 어떻게 측정할까요? 이 분야에서는 여러 표준화된 테스트가 개발되었습니다.

Kling 모델은 유체 역학에서 지속적으로 뛰어난 성능을 보이며, 특히 인상적인 물 시뮬레이션과 천 물리학을 자랑합니다. OpenAI의 Sora 2는 충돌 현실성과 운동량 보존에서 선두를 달리며, 복잡한 다중 객체 상호작용을 인상적인 정확도로 처리합니다.

체조 선수 테스트

가장 까다로운 물리 벤치마크 중 하나는 올림픽 체조를 포함합니다. 텀블링하는 체조 선수는 복잡한 회전 역학을 겪습니다. 각운동량 보존, 팔다리가 뻗고 수축할 때의 관성 모멘트 변화, 도약과 착지를 위한 힘 적용의 정확한 타이밍 등입니다.

초기 비디오 모델은 공중에 있는 체조 선수의 인상적인 개별 프레임을 생성할 수 있었지만 물리학에서는 치명적으로 실패했습니다. 회전이 무작위로 빨라지거나 느려졌습니다. 착지가 불가능한 위치에서 발생했습니다. 신체가 해부학적 제약을 위반하는 방식으로 변형되었습니다.

Sora 2는 이제 올바르게 처리하는 벤치마크로 올림픽 체조를 명시적으로 강조했습니다. 모델은 전체 루틴을 통해 체조 선수의 각운동량을 추적하며, 팔다리를 당기면 회전이 가속되고(피겨 스케이팅 스핀 효과) 뻗으면 감속됩니다.

재질 이해

물리 시뮬레이션은 움직임을 넘어 재질 속성까지 확장됩니다. 모델은 어떻게 유리가 부서지고 고무가 튀는지 알까요? 물이 튀기고 기름이 고이는지? 금속이 소성 변형하고 나무가 부러지는지?

답은 훈련 데이터와 모델의 학습된 사전 지식에 있습니다. 재질이 세상과 상호작용하는 수백만 개의 비디오로 훈련함으로써 모델은 암묵적인 재질 이해를 발전시킵니다. 콘크리트에 떨어지는 유리잔과 카펫에 떨어지는 유리잔은 다른 결과를 만들어내며, 현대 모델은 이 구분을 포착합니다.

한계와 예외 사례

이러한 발전에도 불구하고 AI 비디오의 물리 시뮬레이션은 완벽하지 않습니다. 몇 가지 알려진 한계가 남아 있습니다.

장기 안정성: 물리학은 5-10초 동안은 정확하지만 더 긴 기간에는 드리프트할 수 있습니다. 확장된 비디오는 점차 보존 법칙을 위반할 수 있습니다.

복잡한 다체 시스템: 두 객체의 충돌은 잘 작동하지만, 수십 개의 상호작용하는 객체(무너지는 젠가 타워 같은)가 있는 장면은 오류를 생성할 수 있습니다.

특이한 재질: 훈련 데이터 편향으로 인해 일반적인 재질(물, 유리, 금속)이 특이한 재질(비뉴턴 유체, 자성 물질)보다 더 잘 시뮬레이션됩니다.

극한 조건: 매우 작은 스케일(분자), 매우 큰 스케일(천문학적), 또는 극한 조건(광속에 가까운)에서의 물리학은 종종 실패합니다.

크리에이터를 위한 시사점

개선된 물리 시뮬레이션이 비디오 크리에이터에게 의미하는 바는 무엇일까요?

첫째, 후반 작업 수정의 필요성이 크게 줄어듭니다. 이전에는 물리적 불가능성을 수정하기 위해 신중한 편집이 필요했던 장면이 이제 처음부터 올바르게 생성됩니다.

둘째, 새로운 창작 가능성이 열립니다. 정확한 물리 시뮬레이션은 루브 골드버그 기계, 스포츠 시퀀스, 액션 장면을 힘든 수동 수정 없이 생성할 수 있음을 의미합니다.

셋째, 시청자 인식이 향상됩니다. 시청자는 무의식적으로 물리 법칙 위반을 감지하므로, 물리적으로 정확한 비디오는 그 차이를 명확히 표현하기 어려워도 더 실제처럼 느껴집니다.

앞으로의 길

물리 시뮬레이션은 여러 축에서 계속 개선될 것입니다.

더 긴 시간적 일관성: 현재 모델은 몇 초 동안 물리학을 유지하지만, 미래 모델은 몇 분 동안 유지할 것입니다.

더 복잡한 상호작용: 수백 개의 상호작용하는 객체가 있는 장면이 실현 가능해질 것입니다.

학습된 물리 엔진: 훈련 데이터에서 얻은 암묵적 물리학 대신, 미래 모델은 구성 요소로서 명시적 물리 시뮬레이션을 통합할 수 있습니다.

실시간 물리학: 현재 물리학을 인식하는 생성은 느리지만, 최적화를 통해 물리적 정확성을 갖춘 실시간 생성이 가능해질 수 있습니다.

순간이동하는 농구공에서 현실적인 바운드까지의 여정은 AI 비디오 생성에서 가장 중요한 발전 중 하나를 나타냅니다. 모델은 인간처럼 물리학을 이해하지는 못할지라도, 적어도 그 제약을 존중하는 법을 배웠습니다. 크리에이터에게 이것은 더 적은 수정, 더 많은 가능성, 그리고 단순히 더 실제처럼 느껴지는 비디오를 의미합니다.