LTX-2:透過開源在消費級 GPU 上實現原生 4K AI 影片生成

# LTX 模型系列規格
ltx_video_original = {
    "resolution": "768x512",  # 基礎模型
    "max_duration": 5,  # 秒
    "fps": range(24, 31),  # 24-30 FPS
    "diffusion_steps": 20,
    "h100_time": "5 秒影片需 4 秒",
    "rtx4090_time": "5 秒影片需 11 秒"
}
 
ltx2_capabilities = {
    "resolution": "最高 3840x2160",  # 原生 4K
    "max_duration": 10,  # 已確認秒數,60 秒實驗性
    "fps": "最高 50",
    "synchronized_audio": True,
    "rtx4090_4k_time": "10 秒需 9-12 分鐘"
}

# 使用 Diffusers 函式庫的 LTX-Video
from diffusers import LTXVideoPipeline
import torch
 
# 使用記憶體優化初始化
pipe = LTXVideoPipeline.from_pretrained(
    "Lightricks/LTX-Video",
    torch_dtype=torch.float16
).to("cuda")
 
# 使用可配置步驟生成
video = pipe(
    prompt="山景在日出時的空拍視圖",
    num_inference_steps=8,  # 快速草稿模式
    height=704,
    width=1216,
    num_frames=121,  # 30fps 下約 4 秒
    guidance_scale=1.0  # 不需要 CFG
).frames

# 影片延伸的生產管線
from ltx_video import LTXPipeline
 
pipeline = LTXPipeline(model="ltx-2", device="cuda")
 
# 生成初始片段
initial = pipeline.generate(
    prompt="機器人探索古代遺跡",
    resolution=(1920, 1080),
    duration=5
)
 
# 使用關鍵影格指導延伸
extended = pipeline.extend_video(
    video=initial,
    direction="forward",
    keyframes=[
        {"frame": 150, "prompt": "機器人發現神器"},
        {"frame": 300, "prompt": "神器啟動"}
    ]
)