ByteDance Vidi2: 전문 편집자처럼 비디오를 이해하는 AI
ByteDance가 몇 시간 분량의 영상을 세련된 클립으로 자동 편집할 수 있을 만큼 비디오 콘텐츠를 깊이 이해하는 12B 파라미터 모델 Vidi2를 오픈소스로 공개했습니다. 이 모델은 이미 TikTok Smart Split에 적용되어 있습니다.
Damien18 min read
AI 작성, 자동 검수, 편집자 책임
모두가 비디오 생성 기술에 열광하는 동안, ByteDance는 조용히 다른 문제를 해결했습니다. 바로 AI가 숙련된 편집자처럼 비디오를 이해하도록 만든 것입니다. Vidi2는 몇 시간 분량의 원본 영상을 시청하고 정확히 중요한 부분만 추출할 수 있습니다.
아무도 이야기하지 않는 문제점
현재 우리는 놀라운 AI 비디오 생성 모델들을 보유하고 있습니다. Runway Gen-4.5는 품질 순위에서 정상을 차지하고 있으며, Kling O1은 영상과 동기화된 오디오를 생성합니다. 하지만 비디오 제작의 숨겨진 비밀은 대부분의 시간이 제작이 아닌 편집에 소요된다는 점입니다.
웨딩 영상 작가는 5분짜리 하이라이트 영상을 만들기 위해 8시간 동안 촬영합니다. 크리에이터는 60초 분량의 TikTok 영상을 제작하기 위해 45분을 녹화합니다. 기업 팀은 SharePoint에 200시간 분량의 교육용 영상이 묻혀 있습니다.
비디오 생성이 헤드라인을 장식하지만, 실제 작업은 비디오 이해가 담당합니다.
Vidi2는 바로 이 격차를 메웁니다. 또 다른 생성 모델이 아닙니다. 비디오를 시청하고, 어떤 일이 일어나는지 이해하며, 대규모로 해당 콘텐츠를 활용할 수 있도록 돕는 AI입니다.
Vidi2가 실제로 수행하는 작업
ByteDance는 Vidi2를 "비디오 이해 및 생성을 위한 대규모 멀티모달 모델(Large Multimodal Model for Video Understanding and Creation)"로 설명합니다. 이 120억(12B) 파라미터 모델은 다음 영역에서 뛰어난 성능을 발휘합니다:
시공간적 접지 (Spatio-Temporal Grounding)
지능형 편집 (Intelligent Editing)
콘텐츠 분석 (Content Analysis)
객체 추적 (Object Tracking)
기술적 혁신: 시공간적 접지 (Spatio-Temporal Grounding)
기존 비디오 AI는 공간(이 프레임에 무엇이 있는가) 또는 시간(특정 사건이 언제 발생하는가)의 두 가지 차원에서 작동했습니다. Vidi2는 ByteDance가 "시공간적 접지(Spatio-Temporal Grounding, STG)"라고 부르는 방식을 통해 이 둘을 결합합니다.
기존 방식:
- 공간: "자동차는 픽셀 좌표 (450, 320)에 위치함"
- 시간: "타임스탬프 0:15에 자동차가 나타남"
- 결과: 수동 상관관계 파악이 필요한 단절된 정보
Vidi2 STG:
- 결합: "빨간색 자동차는 0:15에 (450, 320)에 있고, 0:18에 (890, 340)으로 이동하며, 0:22에 오른쪽으로 벗어남"
- 결과: 공간과 시간에 걸친 완전한 객체 궤적
실제 편집 작업에는 두 차원이 모두 필요하기 때문에 이는 매우 중요합니다. "붐 마이크 제거" 작업을 수행하려면 마이크가 어디에 나타나는지(공간), 그리고 얼마나 오래 나타나는지(시간)를 모두 알아야 합니다. Vidi2는 이를 단일 쿼리로 처리합니다.
벤치마크: 빅테크 모델을 넘어서다
주목할 부분은 바로 여기입니다. 시공간적 접지에 대한 ByteDance의 VUE-STG 벤치마크에서 Vidi2는 파라미터 수가 더 적음에도 불구하고 Gemini 2.0 Flash와 GPT-4o 모두를 능가하는 성능을 보였습니다.
주의할 점: 이 벤치마크는 ByteDance가 제작했습니다. 서드파티 벤치마크를 통한 독립적인 검증이 이루어지면 이러한 주장에 힘이 실릴 것입니다. 그렇더라도 특화된 아키텍처 접근 방식 자체는 매우 타당합니다.
벤치마크 결과는 비디오 이해가 단순한 모델 크기 확장보다 전문화된 설계로부터 더 큰 이점을 얻는다는 점을 시사합니다. 비디오를 위해 기초부터 설계된 모델은 비디오를 이미지 이해의 연장선으로 취급하는 대형 범용 모델보다 더 우수한 성능을 낼 수 있습니다.
이미 프로덕션에 적용: TikTok Smart Split
이것은 단순한 컨셉트 제품이 아닙니다. Vidi2는 이미 TikTok의 "Smart Split" 기능을 구동하고 있습니다:
- ✓긴 비디오에서 자동으로 하이라이트 추출
- ✓음성에 동기화된 자막 생성
- ✓다양한 화면비에 맞게 레이아웃 재구성
- ✓콘텐츠 기반의 최적 컷 포인트 식별
수백만 명의 크리에이터가 매일 Smart Split을 사용하고 있습니다. 이 모델은 이론적인 수준에 머무르지 않고 대규모 환경에서 검증되었습니다.
오픈소스: 직접 실행하기
ByteDance는 GitHub에 CC BY-NC 4.0 라이선스로 Vidi2를 공개했습니다. 즉, 연구, 교육 및 개인 프로젝트에는 무료로 사용할 수 있지만, 상업적 사용에는 별도의 라이선스가 필요합니다. 이는 다음과 같은 의미를 갖습니다:
개발자 대상:
- 커스텀 비디오 분석 파이프라인 구축
- 기존 도구에 비디오 이해 기능 통합
- 특정 도메인에 맞춘 파인튜닝
- 대규모 처리 시 API 비용 없음
기업 대상:
- 민감한 영상을 로컬에서 처리
- 자체 편집 워크플로우 구축
- 벤더 종속(lock-in) 방지
- 내부 콘텐츠 유형에 맞춘 커스터마이징
이번 오픈소스 출시는 LTX Video 및 기타 중국 AI 연구소들이 보여준 패턴을 따릅니다. 서구 경쟁사들이 모델을 폐쇄형으로 유지하는 동안 강력한 모델을 공개적으로 배포하는 방식입니다.
실제 활용 사례
Vidi2가 가능하게 만드는 몇 가지 실제 워크플로우를 살펴보겠습니다:
콘텐츠 재가공 (Content Repurposing)
입력: 2시간 분량의 팟캐스트 녹화본 출력: 적절한 인트로/아웃트로 컷이 포함된 최고 순간의 짧은 클립 10개
모델이 몰입도 높은 순간을 식별하고, 자연스러운 컷 포인트를 찾아 단독 콘텐츠로 활용 가능한 클립을 추출합니다.
교육 영상 관리 (Training Video Management)
입력: 500시간 분량의 사내 교육 영상 쿼리: "새로운 CRM 워크플로우를 설명하는 모든 구간 찾기"
영상을 수동으로 훑어보거나 신뢰할 수 없는 메타데이터에 의존하는 대신, Vidi2가 실제로 콘텐츠를 시청하고 이해합니다.
스포츠 하이라이트 (Sports Highlights)
입력: 전체 경기 녹화본 출력: 모든 득점 순간, 아슬아슬한 장면, 세리머니가 포함된 하이라이트 영상
모델이 단순한 움직임이 아니라 의미 있는 순간을 식별할 수 있을 정도로 스포츠 맥락을 충분히 이해합니다.
보안 영상 검토 (Surveillance Review)
입력: 24시간 분량의 보안 영상 쿼리: "오후 6시 이후 옆문으로 들어온 사람들의 모든 사례 찾기"
시공간적 접지 덕분에 정확한 타임스탬프와 위치가 포함된 정밀한 답변을 얻을 수 있습니다.
생성 모델과의 비교
- 기존 영상에서 작동
- 생성 시간이 아닌 편집 시간 절약
- 대규모 비디오 라이브러리로 확장 가능
- 창의적인 프롬프트 작성 불필요
- 기업 환경에 즉시 적용 가능
- 무에서 새로운 콘텐츠 생성
- 창의적 표현 도구
- 마케팅 및 광고 활용
- 품질의 빠른 발전
- 흥미진진하지만 서로 다른 사용 사례
이들은 서로 경쟁하는 기술이 아닙니다. 서로 다른 문제를 해결합니다. 완벽한 AI 비디오 워크플로우에는 두 가지가 모두 필요합니다. 새로운 콘텐츠 생성을 위한 생성 모델과 기존 콘텐츠 작업을 위한 이해 모델입니다.
더 큰 그림
비디오 이해는 AI가 "인상적인 데모"에서 "일상적인 도구"로 전환되는 지점입니다. 생성은 관심을 끌지만, 이해는 실제 작업을 처리합니다.
이 기술이 무엇을 가능하게 하는지 살펴보십시오:
- 모든 기업은 아카이브에 갇혀 있는 비디오 콘텐츠를 보유하고 있습니다
- 모든 크리에이터는 촬영보다 편집에 더 많은 시간을 씁니다
- 모든 플랫폼은 더 나은 콘텐츠 모니터링 및 탐색 기능이 필요합니다
- 모든 연구자는 효율적으로 분석할 수 없는 영상을 가지고 있습니다
Vidi2는 이 모든 요구를 다룹니다. 오픈소스 공개 덕분에 충분한 컴퓨팅 자원을 가진 사람이라면 누구나 이러한 기능을 활용할 수 있게 되었습니다.
시작하기
이 모델은 문서 및 데모와 함께 GitHub에서 제공됩니다. 요구 사항:
- 전체 모델 실행 시 최소 24GB VRAM을 갖춘 NVIDIA GPU
- 더 작은 GPU를 위한 양자화 버전 제공
- Python 3.10+ 및 PyTorch 2.0+
빠른 시작:
git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"ByteDance가 중국 기업임에도 불구하고 문서는 주로 영어로 작성되어 있어 글로벌 사용자를 타깃으로 하고 있음을 보여줍니다.
이것이 업계에 미치는 영향
AI 비디오 환경은 이제 두 가지 명확한 트랙으로 나뉩니다:
| 트랙 | 선두 주자 | 중점 영역 | 가치 |
|---|---|---|---|
| 생성 | Runway, Sora, Veo, Kling | 새로운 비디오 제작 | 창의적 표현 |
| 이해 | Vidi2, (기타 등장 모델) | 기존 비디오 분석 | 생산성 |
두 분야 모두 성숙해질 것이며, 서로 통합될 것입니다. 2026년의 완전한 AI 비디오 스택은 원활하게 비디오를 생성하고, 편집하며, 이해할 것입니다.
현재로서는 Vidi2가 비디오 이해를 위한 가장 뛰어난 오픈소스 옵션입니다. 분석할 영상이 있거나, 자동화할 편집 작업이 있거나, 정리해야 할 콘텐츠가 있다면 반드시 살펴봐야 할 모델입니다.
개인적인 견해
비디오 처리 파이프라인을 구축해 본 사람이라면 Vidi2와 같은 모델이 가져온 전후 차이가 극명하다는 것을 알 수 있습니다. 과거에는 커스텀 컴퓨터 비전 스택, 수동 주석 작업, 불안정한 휴리스틱이 필요했던 작업들을 이제 프롬프트 하나로 해결할 수 있습니다.
최고의 AI 도구는 인간의 판단을 대체하지 않습니다. 인간이 대규모로 판단력을 발휘하지 못하도록 가로막는 지루한 작업을 제거해 줄 뿐입니다.
Vidi2는 편집자를 대체하지 않습니다. 편집자에게 이전에는 대규모로 구현하기 불가능했던 역량을 제공합니다. 그리고 비상업적 용도의 공개 접근 덕분에, 인프라를 구축할 의지가 있는 사람이라면 누구나 이러한 역량을 활용할 수 있습니다.
비디오의 미래는 단순히 생성에만 있지 않습니다. 바로 이해에 있습니다. 그리고 그 미래는 이제 오픈소스로 열려 있습니다.
