CraftStory: Bagaimana Video AI 5 Minit Menjadi Mungkin

Masalah dengan Video Panjang

Menjana video AI yang lebih panjang bukan hanya tentang menambah lebih banyak bingkai. Tiga masalah asas muncul:

1. Penumpukan Ralat: Setiap bingkai yang dijana sedikit menyimpang dari ideal. Lebih banyak bingkai = lebih banyak sisihan terkumpul. Menjelang minit 5, hanyutan menjadi jelas.

2. Letupan Memori: GPU mempunyai memori terhad. Memegang 7,200 bingkai dalam memori sekaligus adalah tidak praktikal pada perkakasan semasa.

3. Keruntuhan Koheren: Watak berubah penampilan. Adegan beranjak secara tidak konsisten. Pencahayaan berubah-ubah. Semakin panjang video, semakin sukar mengekalkan koheren visual.

Penyelesaian CraftStory: Difusi Dwiarah

Penjanaan tradisional berfungsi kiri ke kanan. Jana bingkai 1, gunakan untuk menjana bingkai 2, dan seterusnya. Ralat hanya boleh terkumpul dalam satu arah.

CraftStory berfungsi secara berbeza:

# Pendekatan konseptual CraftStory
class BidirectionalVideoGenerator:
    def __init__(self, segment_length=300):  # Segmen 12.5 saat
        self.segment_length = segment_length
 
    def generate_long_video(self, prompt, total_frames=7200):
        # Fasa 1: Jana bingkai kunci yang jarang
        keyframes = self.generate_keyframes(
            prompt,
            num_keyframes=total_frames // self.segment_length
        )
 
        # Fasa 2: Jana segmen antara bingkai kunci (selari)
        segments = []
        for i in range(len(keyframes) - 1):
            segment = self.generate_segment(
                prompt,
                left_keyframe=keyframes[i],
                right_keyframe=keyframes[i + 1],
                num_frames=self.segment_length
            )
            segments.append(segment)
 
        # Fasa 3: Gabung dengan peralihan yang lancar
        return self.blend_segments(segments, keyframes)

Penjanaan Bingkai Kunci

Langkah pertama menjana bingkai kunci yang jarang, fikirkannya sebagai sauh yang menentukan struktur keseluruhan video:

Bingkai kunci berfungsi sebagai "titik semak" yang segmen mesti hormati. Mereka menghalang hanyutan dengan berkala menentukan semula kebenaran visual.

Pengisian Segmen Selari

Dengan bingkai kunci ditubuhkan, segmen antara mereka boleh dijana secara selari:

def generate_segment(self, prompt, left_kf, right_kf, num_frames):
    # Mulakan dengan hingar
    noise = torch.randn(num_frames, channels, height, width)
 
    # Penyahhingaran iteratif dengan kekangan dwiarah
    for t in reversed(range(num_steps)):
        # Ramalan hingar standard
        noise_pred = self.model(noise, t, prompt)
 
        # Gunakan kekangan dwiarah
        noise_pred = self.apply_constraints(
            noise_pred,
            left_boundary=left_kf,
            right_boundary=right_kf,
            constraint_strength=self.get_strength(t)
        )
 
        # Langkah penyahhingaran
        noise = self.scheduler.step(noise_pred, t, noise)
 
    return noise

Penggabungan Sempadan

Tempat segmen bercantum adalah kritikal. Penggabungan yang buruk mencipta "lompatan" yang boleh dilihat. CraftStory menggunakan pencampuran berwajaran:

Keputusan dan Batasan

Hasil penyelidikan menunjukkan:

• ✓Mengekalkan identiti watak merentasi 5 minit
• ✓Konsistensi adegan tanpa hanyutan besar
• ✓Peralihan lancar di sempadan segmen
• ○Gerakan kompleks merentasi sempadan
• ○Aksi pantas di titik gabungan
• ○Sedia pengeluaran (masih penyelidikan)

Implikasi untuk Pencipta

Walaupun CraftStory adalah penyelidikan, ia menunjukkan beberapa perkara:

Bagaimana Ini Berkaitan dengan Alat Semasa

Jika anda menggunakan alat pemanjangan video hari ini, anda sudah mengalami versi cabaran yang sama:

• Mengekalkan konsistensi apabila memanjangkan
• Peralihan lancar antara asal dan dijana
• Mengelakkan hanyutan merentasi sambungan

CraftStory menyediakan asas teori untuk mengapa teknik tertentu berfungsi dan bagaimana memperbaikinya.

Keadaan Seni Semasa

Di mana kita berdiri sekarang:

Apa yang Perlu Diperhatikan

Apabila menilai tuntutan video bentuk panjang masa depan, cari:

1. Koheren merentasi minit, bukan saat. Demo 60 saat mudah. Demo 5 minit yang koheren adalah sukar.

2. Aksi kompleks di sempadan. Adakah watak boleh berjalan, menari, atau berkelahi merentasi sempadan segmen dengan lancar?

3. Konsistensi watak dalam jarak dekat. Wajah adalah ujian paling sukar. Adakah mereka stabil merentasi berbilang minit?

4. Kestabilan persekitaran. Adakah bilik yang sama kelihatan sama dari awal hingga akhir?

Kesimpulan

CraftStory menunjukkan bahawa video AI 5 minit adalah secara teknikal boleh dilaksanakan dengan teknik seni bina yang betul. Difusi dwiarah dengan penjanaan bingkai kunci dan pengisian segmen selari menyelesaikan masalah asas penumpukan ralat dan keruntuhan koheren.

Bagi pencipta, pengambilan praktikal adalah jelas: video bentuk panjang akan datang. Mulakan berfikir tentang bagaimana anda akan menggunakannya. Kisah apa yang memerlukan lebih dari 60 saat? Produk apa yang memerlukan demonstrasi yang lebih panjang? Naratif apa yang sepatutnya ada ruang untuk bernafas?

Had 10 saat adalah sejarah. Had 60 saat sedang jatuh. Had seterusnya adalah imaginasi anda.