CraftStory Model 2.0: 양방향 디퓨전을 통해 5분 길이 AI 영상을 구현하는 방법

아직 아무도 해결하지 못한 영상 길이 문제

현재 AI 영상 모델의 특징을 살펴보면, 단거리 주자와 같습니다. 8초 분량의 아름다운 영상을 생성한 후 이를 확장하려고 하면, 전화 놀이처럼 정보가 왜곡되는 현상이 발생합니다. 아티팩트가 누적되고, 인물이 흐려지며, 전체적으로 무너지게 됩니다.

기존 방식은 다음과 같이 작동합니다. 하나의 영상 구간을 생성하고, 마지막 몇 프레임을 다음 구간의 맥락으로 사용한 후, 이들을 연결합니다. 문제는 오류가 누적된다는 점입니다. 첫 번째 구간에서 약간 이상한 손 위치가 다섯 번째 구간에서는 이상한 형태로 변형됩니다.

양방향 디퓨전: 혁신적인 아키텍처

CraftStory의 솔루션은 기존 접근 방식을 완전히 뒤집었습니다. 순차적으로 생성하며 최선의 결과를 기대하는 대신, 전체 영상 타임라인에 걸쳐 여러 개의 작은 디퓨전 엔진을 동시에 실행합니다.

소설을 쓰는 것과 개요를 작성하는 것을 비교해보면 이해하기 쉽습니다. 순차 생성은 1페이지를 쓴 후 2페이지, 3페이지를 쓰는 방식으로, 뒤로 돌아갈 수 없습니다. CraftStory의 접근 방식은 10장이 2장에서 무슨 일이 일어나야 하는지 알려줄 수 있는 개요를 가지고 있는 것과 같습니다.

Model 2.0의 실제 작동 방식

현재 CraftStory Model 2.0은 비디오 대 비디오 시스템입니다. 이미지와 구동 영상을 제공하면, 이미지 속 인물이 구동 영상의 동작을 수행하는 출력물을 생성합니다.

• ✓참조 이미지 업로드(피사체)
• ✓구동 영상 제공(동작 템플릿)
• ✓모델이 퍼포먼스 합성
• ○텍스트-비디오 기능은 향후 업데이트 예정

립싱크 시스템이 특히 뛰어납니다. 스크립트나 오디오 트랙을 입력하면 일치하는 입 모양을 생성합니다. 별도의 제스처 정렬 알고리즘이 음성 리듬과 감정적 톤에 맞춰 신체 언어를 동기화합니다. 결과는 어떨까요? 인물이 단순히 입을 움직이는 것이 아니라 실제로 그 말을 하는 것처럼 보이는 영상입니다.

출력물: 실제로 얻을 수 있는 것

생성에는 저해상도 30초 클립의 경우 약 15분이 걸립니다. 일부 모델이 제공하는 거의 즉각적인 생성보다는 느리지만, 그 대가로 연결되지 않는 아름다운 조각이 아닌 일관성 있는 장편 출력물을 얻을 수 있습니다.

크리에이터에게 중요한 이유

5분이라는 장벽은 임의적인 것이 아닙니다. 이것은 AI 영상이 실제 콘텐츠에 유용해지는 기준점입니다.

대부분의 비즈니스 영상 콘텐츠는 2~5분 범위에 있습니다. 제품 데모, 교육 모듈, 설명 영상, 내부 커뮤니케이션 등이 이에 해당합니다. 바로 이 영역에서 CraftStory가 전문적인 사용 사례에 적합해집니다.

경쟁 환경

CraftStory는 Wrike와 Zencoder의 창립자인 Andrew Filev가 주도한 시드 펀딩으로 200만 달러를 조달했습니다. OpenAI와 Google에 투입되는 수십억 달러에 비하면 적은 금액이지만, 기술을 입증하기에는 충분합니다.

텍스트-비디오 기능은 개발 중입니다. 이 기능이 출시되면 가치 제안이 더 명확해집니다. 5분 길이 영상을 텍스트로 설명하면, 다른 도구에서 발생하는 프레임별 품질 저하 없이 일관성 있는 출력물을 얻을 수 있습니다.

다음 단계

로드맵 기능▼

CraftStory는 다음과 같은 향후 기능을 발표했습니다.

• 텍스트-비디오: 구동 영상 없이 프롬프트에서 생성
• 이동 카메라: 팬, 줌 및 트래킹 샷
• 걸으며 말하기: 말하면서 공간을 이동하는 피사체

양방향 디퓨전 접근 방식은 CraftStory만의 기술이 아닙니다. 다른 팀들도 채택할 가능성이 높은 패턴입니다. "오류가 앞으로 누적되는" 문제를 해결하면, 더 긴 생성은 근본적인 장벽이 아닌 엔지니어링 과제가 됩니다.

더 큰 그림

AI 영상이 어색한 청소년기를 거치고 있는 것을 지켜보고 있습니다. 모델은 멋진 10초 클립을 생성할 수 있지만, 몇 분에 걸쳐 일관성을 유지하라고 요구하면 무너집니다. CraftStory의 양방향 접근 방식은 이 문제에 대한 하나의 답입니다.

진짜 질문은 이 기술이 대형 업체들에 의해 채택되기까지 얼마나 걸릴까 하는 것입니다. OpenAI, Google, Runway 모두 유사한 아키텍처를 구현할 수 있는 리소스를 가지고 있습니다. CraftStory의 강점은 실용적인 장편 생성으로 시장에 먼저 진출했다는 것입니다.

현재로서는 인간 피사체가 있는 일관성 있는 다중 분 AI 영상 콘텐츠가 필요한 경우, CraftStory가 유일한 선택지입니다. 지속 시간 장벽이 아직 깨지지는 않았지만, 누군가가 그것에 심각한 균열을 냈습니다.