2025년 AI 비디오 프롬프트 엔지니어링 완벽 가이드
놀라운 AI 생성 비디오를 제작하는 프롬프트 작성 기법을 소개합니다. 6단계 프레임워크, 영화 촬영 용어, 플랫폼별 최적화 기법을 자세히 알아보세요.

AI 비디오 프롬프트 엔지니어링은 레시피를 완성하는 것과 비슷합니다. 같은 재료를 사용하더라도 기법에 따라 완전히 다른 결과를 얻을 수 있습니다. 주요 플랫폼에서 수많은 비디오를 생성하며 쌓은 경험을 바탕으로, 실제로 효과적인 방법들을 실용적인 프레임워크로 정리했습니다. 불필요한 내용은 제외하고, 일관되고 전문적인 결과를 만들어내는 기법에 집중하여 소개하겠습니다.
비디오 프롬프트의 특별한 점
Midjourney나 DALL-E 같은 이미지 생성기를 사용해 보셨다면, 비디오 프롬프트도 같은 방식으로 작동할 것이라고 생각하실 수 있습니다. 하지만 실제로는 다릅니다. 비디오는 시간이라는 차원이 추가됩니다. 움직임, 템포, 전환 등이 더해지면서 프롬프트 엔지니어링은 단순한 지시에서 일련의 시퀀스를 조율하는 작업으로 변모합니다.
사진을 찍는 것과 장면을 연출하는 것의 차이를 떠올려보시면 좋습니다. 사진의 경우 구도를 설정하면 됩니다. 하지만 비디오의 경우 시간에 따라 어떤 일이 일어나는지 안무를 짜야 합니다.
- 카메라는 어떻게 움직이나요?
- 어떤 액션이 전개되나요?
- 각 요소는 얼마나 지속되나요?
- 감정의 흐름은 어떻게 되나요?
이러한 질문들에 답하려면 정적인 이미지 프롬프트를 넘어서는 어휘와 구조가 필요합니다.
6단계 프레임워크
전문적인 비디오 프롬프트는 체계적인 접근 방식을 따릅니다. 저는 이를 6단계 프레임워크라고 부릅니다. 각 단계는 AI가 여러분의 비전을 향해 나아가도록 안내하는 구체성을 더해줍니다.
1단계: 주제와 동작
정확하게 초점을 정의합니다. 모호한 주제는 모호한 결과를 만들어냅니다.
약한 예: "정원에 있는 여성" 강한 예: "빨간 드레스를 입은 여성이 장미 덤불 사이를 천천히 걸으며 지나가는 꽃잎을 부드럽게 만지는 모습"
강한 버전은 의상, 움직임의 속도, 환경과의 상호작용을 구체적으로 명시합니다. 모든 세부 사항이 AI의 해석을 여러분의 의도로 제한합니다.
2단계: 샷 타입과 프레이밍
영화 촬영 감독들은 한 세기 동안 시각적 문법을 개발해왔습니다. 이를 활용하시면 좋습니다.
| 샷 타입 | 사용 목적 |
|---|---|
| Wide shot | 위치 설정, 스케일 표현 |
| Medium shot | 캐릭터 상호작용, 대화 |
| Close-up | 감정, 디테일, 친밀감 |
| Extreme close-up | 극적인 강조 |
예시: "Medium tracking shot, 허리 높이에 위치한 카메라, 옆에서 따라가는 구도"
3단계: 카메라 움직임
정적인 샷은 아마추어처럼 보일 수 있습니다. 움직임은 에너지를 만들고 시선을 안내합니다.
| 움직임 | 효과 |
|---|---|
| Pan | 수평적으로 공간을 드러냄 |
| Tilt | 수직적으로 공간을 드러냄 |
| Dolly/tracking | 깊이를 만들고, 주제를 따라감 |
| Crane | 스케일과 드라마를 설정 |
| Handheld | 긴박감, 다큐멘터리 느낌 |
| Steadicam | 부드러운 추적, 몰입감 |
예시: "문을 통과하며 천천히 dolly forward, 눈높이 관점 유지"
4단계: 조명과 분위기
조명은 다른 어떤 요소보다 강력하게 분위기를 설정합니다.
| 용어 | 시각적 효과 |
|---|---|
| Golden hour | 따뜻함, 로맨틱, 향수 |
| Blue hour | 차가움, 사색적, 신비로움 |
| High key | 밝음, 낙관적, 깔끔함 |
| Low key | 극적, 무드있음, 긴장감 |
| Volumetric light | 안개/먼지를 통과하는 광선, 몽환적 |
| Rim lighting | 분리, 드라마, 실루엣 경계 |
예시: "Golden hour 조명으로 먼지 낀 창문을 통해 걸러지는 volumetric rays, 따뜻한 색감"
5단계: 기술적 사양
정확한 제어를 원할 때는 구체적인 기술 매개변수를 명시합니다.
- 렌즈: 35mm (자연스러움), 50mm (인물), 85mm (압축), 24mm (광각)
- 피사계 심도: 얕음 (bokeh 배경) vs. 깊음 (모든 것이 선명)
- 프레임 레이트: 24fps (영화적), 60fps (부드러움), 120fps (슬로우 모션)
- 화면 비율: 16:9 (표준), 2.39:1 (영화적), 9:16 (세로)
예시: "85mm 렌즈로 촬영, 크리미한 bokeh로 얕은 피사계 심도, 약간의 필름 그레인"
6단계: 지속 시간과 페이싱
비디오는 시간에 따라 전개됩니다. 리듬을 지정하세요.
- 장면 지속 시간 (일반적으로 3-10초)
- 전환 스타일 (cut, dissolve, wipe)
- 페이싱 (느림/사색적 vs. 빠름/활기참)
- 음악 동기화를 위한 비트 타이밍
예시: "6초 샷, 느리고 신중한 움직임, 마지막 프레임에서 1초간 유지"
종합 예시: 완전한 프롬프트
단계들이 어떻게 전문적인 프롬프트로 결합되는지 보여드리겠습니다.
영화적 인물 샷:
Medium close-up of a weathered fisherman's face, early morning blue hour,
shot on 85mm lens with shallow depth of field. Gentle handheld micro-movements,
soft rim lighting from behind creating a halo effect on his gray hair.
Contemplative expression, eyes looking slightly off-camera.
Cool color grade with lifted shadows, 5 seconds duration.액션 시퀀스:
Wide tracking shot following a parkour athlete running across urban rooftops
at sunset. Dynamic steadicam movement maintaining consistent distance,
golden hour backlighting creating dramatic silhouette. 24fps cinematic motion,
slight slow-motion at 0.8x speed. High contrast, teal-orange color grade.
8 seconds with building intensity.제품 쇼케이스:
Slow 360-degree orbit around a luxury watch on black velvet surface.
Macro lens capturing intricate dial details, controlled studio lighting
with soft key light and subtle fill. Shallow depth of field isolating
the subject, gentle reflections on crystal. Premium feel with
slow, deliberate camera movement. 10 seconds duration.네거티브 프롬프팅: AI에게 피해야 할 것 알려주기
피하고 싶은 것을 지정하는 것도 똑같이 중요합니다. 각 플랫폼은 이를 다르게 처리합니다.
일반적인 네거티브 프롬프트:
- 흐릿한 영상, 모션 블러 아티팩트
- 왜곡된 얼굴, 해부학적 오류
- 워터마크, 텍스트 오버레이
- 부자연스러운 움직임, 끊기는 전환
- 낮은 해상도, 압축 아티팩트
플랫폼별 구문:
| 플랫폼 | 방법 |
|---|---|
| Veo 3 | 전용 네거티브 프롬프트 필드 |
| Kling | 프롬프트에 "avoid" 또는 "without" 포함 |
| Runway | 별도의 네거티브 프롬프트 매개변수 |
| Sora | 가중치 기반 제외 |
예시: "Avoid: blurry footage, distorted facial features, watermarks, jerky camera movement, oversaturated colors"
스타일 레퍼런스 쌓기
독특한 미학을 원하시나요? 2-3개의 영화 레퍼런스를 결합하세요.
공식: [영화 A] 색감 + [영화 B] 분위기 + [영화 C] 카메라 움직임
예시:
- "Blade Runner 2049 색감 + Se7en 분위기 + Heat 카메라 움직임"
- "Wes Anderson 대칭 + Studio Ghibli 색상 팔레트 + Terrence Malick 자연광"
- "Mad Max: Fury Road 에너지 + Roger Deakins 조명 + Spielberg 블로킹"
레퍼런스는 3개로 제한하세요. 그 이상은 상충되는 신호를 만들 수 있습니다.
플랫폼별 최적화
각 모델에는 강점이 있습니다. 프롬프트 스타일을 플랫폼에 맞추세요.
| 모델 | 강점 | 프롬프트 초점 |
|---|---|---|
| Kling 2.5 | 운동감, 캐릭터 애니메이션 | 동작 동사, 신체 움직임 |
| Sora 2 | 멀티샷 스토리텔링, 공간 일관성 | 장면 전환, 내러티브 아크 |
| Veo 3 | 정밀 제어, JSON 포맷팅 | 기술 사양, 구조화된 구문 |
| Runway Gen-3 | 스타일화, 예술적 해석 | 미학 레퍼런스, 분위기 표현 |
| WAN 2.5 | 대화, 립싱크 | 발화 동작, 표정 |
Veo 3 JSON 예시:
{
"subject": "woman in red dress",
"action": "walking through garden",
"shot_type": "medium tracking",
"camera_movement": "dolly right to left",
"lighting": "golden hour, volumetric",
"lens": "35mm",
"duration": "6 seconds"
}5-10-1 비용 최적화 규칙
프리미엄 렌더링은 비용이 많이 듭니다. 다음 워크플로우를 사용하세요.
- 5가지 변형을 저비용 모델에서 생성 (각 40-60 크레딧)
- 10회 반복으로 최고의 후보를 다듬기
- 1회 최종 렌더링을 프리미엄 티어에서 (~350 크레딧)
이렇게 하면 수천 크레딧에서 약 1,000 크레딧으로 비용을 줄이면서도 품질을 유지할 수 있습니다.
피해야 할 일반적인 실수
수백 개의 프롬프트를 검토한 결과, 가장 자주 나타나는 오류는 다음과 같습니다.
| 실수 | 문제점 | 해결책 |
|---|---|---|
| 일상적인 설명 | AI가 느슨하게 해석 | 영화 촬영 용어 사용 |
| 지속 시간 불일치 | 동작이 시간 프레임에 맞지 않음 | 복잡성을 지속 시간에 맞춤 |
| 스타일 과부하 | 미학적 신호 충돌 | 레퍼런스를 최대 3개로 제한 |
| 움직임 누락 | 정적이고 아마추어적인 느낌 | 항상 카메라 움직임 지정 |
| 모호한 조명 | 일관되지 않은 분위기 | 구체적인 조명 설정 명시 |
| 네거티브 프롬프트 없음 | 원치 않는 아티팩트 | 문제를 명시적으로 제외 |
프롬프트 라이브러리 구축
일반적인 시나리오를 위한 템플릿을 만드세요.
인터뷰 설정:
Medium shot, subject positioned rule-of-thirds left, eye-level camera,
[LIGHTING_SETUP], shallow depth of field blurring background,
subtle handheld micro-movements for natural feel, [DURATION].B-Roll 자연:
[SHOT_TYPE] of [SUBJECT], [TIME_OF_DAY] lighting,
slow [CAMERA_MOVEMENT], [LENS]mm lens, deep focus,
[COLOR_GRADE] palette, [DURATION].제품 히어로:
[ORBIT_DIRECTION] orbit around [PRODUCT] on [SURFACE],
studio lighting with [KEY_LIGHT_POSITION] key and subtle fill,
macro detail moments, [LENS]mm, pristine reflections, [DURATION].구체적인 필요에 따라 대괄호 안을 채우세요. 사용 사례별로 정리된 라이브러리를 구축하시면 좋습니다.
반복 전략
완벽한 프롬프트는 체계적인 개선을 통해 나타납니다.
- 간단하게 시작: 핵심 주제와 동작만
- 요소 하나씩 추가: 단일 추가 사항 테스트
- 효과적인 것 기록: 효과적인 표현의 로그 유지
- 표현 A/B 테스트: 같은 개념, 다른 단어
- 성공 사례 저장: 프롬프트 라이브러리 구축
로그 형식:
Prompt: [전체 프롬프트]
Model: [사용한 플랫폼]
Result: [1-5 등급]
Notes: [효과가 있었던 것/없었던 것]품질 검토 체크리스트
AI 비디오를 완성하기 전에 확인하세요.
- 전체적으로 주제 일관성
- 자연스러운 움직임 (끊김 없음)
- 조명 연속성
- 얼굴 왜곡 없음
- 색감 일관성
- 적절한 페이싱
- 깨끗한 오디오 (해당하는 경우)
- 워터마크나 아티팩트 없음
다음 단계
프롬프트 엔지니어링은 연습을 통해 향상됩니다. 간단한 샷부터 시작하여 각 단계를 마스터한 다음 결합하세요. 목표는 용어를 암기하는 것이 아니라, 비디오를 매력적으로 만드는 것에 대한 직관을 개발하는 것입니다.
생성 로그를 유지하세요. 효과가 있었던 것을 검토하세요. 라이브러리를 구축하세요. 아마추어와 전문가 수준의 AI 비디오 차이는 프롬프트의 정확성에서 나오는 경우가 많습니다.
여러분의 카메라가 기다리고 있습니다. 촬영을 시작하세요.
이 글이 도움이 되었나요?

Damien
AI 개발자복잡한 머신러닝 개념을 간단한 레시피로 바꾸는 것을 좋아하는 리옹 출신 AI 개발자입니다. 모델 디버깅을 하지 않을 때는 론 계곡을 자전거로 누비고 있습니다.
관련 글
관련 글을 더 살펴보세요

Pika 2.5: 속도, 가격, 창작 도구로 AI 비디오 대중화하기
Pika Labs가 버전 2.5를 출시하여 더 빠른 생성, 향상된 물리 엔진, Pikaframes 및 Pikaffects와 같은 창작 도구를 결합하여 AI 비디오를 모두가 접근할 수 있게 만들었습니다.

Runway Gen-4.5가 1위 달성: 100명의 엔지니어가 Google과 OpenAI를 어떻게 앞질렀나
Runway가 Gen-4.5로 Video Arena 1위를 차지하며, 소규모 팀이 수조 달러 규모의 거대 기업들을 AI 비디오 생성 분야에서 능가할 수 있음을 입증했습니다.

CraftStory Model 2.0: 양방향 디퓨전을 통해 5분 길이 AI 영상을 구현하는 방법
Sora 2가 25초에 머물러 있는 동안, CraftStory는 5분 길이의 일관성 있는 영상을 생성하는 시스템을 공개했습니다. 그 비결은 양방향 제약과 함께 여러 디퓨전 엔진을 병렬로 실행하는 것입니다.