Helios: 소비자용 하드웨어에서 작동하는 실시간 AI 동영상 생성 14B 모델

실시간 AI 동영상 생성의 가장 큰 장벽은 항상 계산 능력이었습니다. 베이징 대학, ByteDance, Canva의 새로운 14B 파라미터 모델 Helios가 그 장벽을 무너뜨렸습니다. 단일 H100에서 초당 19.5프레임의 속도로 작동하며, 최대 60초 길이의 동영상을 생성하고, 그룹 오프로딩으로 약 6GB VRAM만 필요하며, Apache 2.0 라이선스를 보유하고 있습니다.

Helios가 중요한 이유

대부분의 AI 동영상 모델은 품질 또는 속도 중 하나를 선택하도록 강요합니다. Veo 3.1이나 Runway Gen-4.5와 같은 대규모 모델은 놀라운 결과를 생성하지만 클라우드 클러스터에서 실행되며 초당 요금을 청구합니다. 더 작은 모델은 소비자 GPU에 맞지만 눈에 띄게 약한 출력을 생성합니다. Helios는 그 선택을 거부합니다.

14B

파라미터 수

19.5

단일 H100의 FPS

~6GB

오프로딩 시 VRAM

60s

최대 동영상 길이

핵심 통찰: Helios는 전체 동영상을 한 번에 제거하는 대신 스트리밍 방식으로 프레임별로 동영상을 생성하는 자기회귀 확산 모델입니다. 이는 나머지를 생성하는 동안 즉시 프레임 출력을 시작할 수 있음을 의미합니다. 전체 클립이 렌더링될 때까지 기다릴 필요가 없습니다.

작동 방식

기존 확산 모델은 전체 동영상을 동시에 처리합니다. 프롬프트를 제출하고 몇 분을 기다린 후 완전한 클립을 얻습니다. Helios는 근본적으로 다른 접근 방식을 취합니다.

기존 확산 모델	Helios (자기회귀 확산)
모든 프레임을 동시 처리	프레임별 생성
높은 메모리 요구사항	일정한 메모리 사용량
완전히 완료될 때만 출력	실시간 스트리밍 출력
길이가 증가하면 품질 저하	모든 길이에서 일관된 품질

이 모델은 양방향 시간 주의 메커니즘을 사용하며, 각 새 프레임이 슬라이딩 윈도우 내 과거 및 미래 컨텍스트를 참조할 수 있습니다. 이는 일반적으로 자기회귀 동영상 모델을 괴롭히는 품질 드리프트를 방지합니다. 자기회귀 동영상 모델에서는 나중 프레임이 이전 프레임과의 일관성을 점차 잃게 됩니다.

💡

Helios는 KV-cache 트릭이나 반드리프트 해킹 없이 분 단위 동영상(최대 1,452프레임)을 달성합니다. 아키텍처 자체가 일관성을 유지합니다.

소비자 하드웨어 관점

여기서 상황이 실용적이 됩니다. 그룹 오프로딩을 통해 Helios는 약 6GB VRAM의 하드웨어에서 실행할 수 있습니다. 이는 RTX 4060 Ti 범위에 정확히 해당하며, 이 카드의 비용은 약 $400입니다.

클라우드 기반 생성과 비교하면:

방식	1분 동영상당 비용	필요한 하드웨어
클라우드 API (Sora, Veo)	생성당 $2-8	없음 (클라우드)
Helios (로컬, H100)	전기 약 $0.15	H100 ($25,000+)
Helios (로컬, RTX 4060 Ti)	전기 약 $0.01	RTX 4060 Ti (~$400)

소비자 GPU를 사용할 때의 트레이드오프는 속도입니다. RTX 4060 Ti에서는 19.5 FPS에 도달하지 않습니다. 2~3 FPS 정도를 예상할 수 있으며, 이는 여전히 60초 동영상이 10분 미만에 완료됨을 의미합니다. 로컬, 프라이빗, 무제한 생성의 경우 이는 매력적입니다.

주장을 뒷받침하는 벤치마크

Helios는 단지 실시간 성능만 주장하지 않습니다. 표준 동영상 품질 벤치마크에서 경쟁력 있는 점수를 받습니다.

💡

VBench에서 Helios는 움직임 품질, 시간 일관성, 미적 채점에 걸쳐 유사한 파라미터 수를 가진 모델과 동등하거나 능가합니다. 완전한 벤치마크 결과는 논문(arXiv:2603.04379)에서 확인할 수 있습니다.

연구팀은 베이징 대학, ByteDance, Canva 간의 협력으로 다음에 대해 구체적으로 테스트했습니다:

CogVideoX (13B 파라미터): Helios는 5-10배 더 빠른 생성으로 품질 일치
Pyramid Flow (자기회귀 기준선): Helios는 더 시간적으로 일관된 출력 생성
Open-Sora v1.2: Helios는 더 길고 더 일관성 있는 클립 생성

중요한 비교는 LTX-2 및 더 작은 CogVideo 변형과 같은 1-2B 파라미터 범위의 모델들과의 비교입니다. Helios는 유사한 속도로 실행되면서 훨씬 더 큰 모델에서 나온 것처럼 보이는 출력을 생성합니다.

실제로 할 수 있는 일

Helios는 연구 호기심이 아닙니다. 오늘 바로 설치하고 실행할 수 있는 실용적인 도구입니다.

✓최대 60초의 텍스트-동영상 생성
✓참조 프레임의 이미지-동영상 애니메이션
✓실시간 스트리밍 출력 (생성 중 시청 시작)
✓Apache 2.0 라이선스 (상업적 사용 허용)
✓소비자 GPU 지원 그룹 오프로딩

Apache 2.0 라이선스는 중요합니다. 상업적 사용을 제한하는 많은 공개 가중치 모델과 달리 Helios는 명시적으로 그것을 허용합니다. 이는 독립 개발자, 소규모 스튜디오, 스타트업이 라이선스 비용 없이 모델 위에 제품을 구축할 수 있는 문을 열어줍니다.

더 큰 그림

Helios는 AI 동영상 접근성에 대한 우리의 접근 방식을 바꿉니다. 이전 세대의 "개방형" 동영상 모델은 엔터프라이즈 하드웨어가 필요하거나 클라우드 대응물보다 눈에 띄게 나쁜 결과를 생성했습니다.

✓클라우드 생성

하드웨어 투자 불필요, 최고 품질 출력, 지속적으로 업데이트되는 모델

✓로컬 생성 (Helios)

제로 생성 비용, 완전한 프라이버시, 속도 제한 없음, 상업적 친화적 라이선스, 오프라인 가능

프로젝트당 수백 번의 반복을 생성하는 전문가에게는 경제학이 크게 변합니다. $400 GPU는 약 200-300회의 클라우드 생성 후 자신을 갚습니다. 제품에서 AI 동영상을 실험하는 팀의 경우 로컬 생성의 무제한적 특성이 실험의 주저함을 제거합니다.

우리의 로컬에서 AI 동영상 실행 가이드에서 성장하는 로컬 생성 에코시스템을 다루었으며, Helios는 해당 워크플로우에 직접 맞아떨어집니다. 또한 TurboDiffusion으로 작성한 실시간 생성 혁신을 기반으로 하며, 더 큰 모델을 사용하여 개념을 더욱 발전시킵니다.