EPFL Stable Video Infinity: Hata Dönüşümü AI Video'nun En Büyük Sorununu Nasıl Çözer?

Her AI video modelinin aynı kirli sırrı vardır. 4 saniyelik bir klip oluşturun ve sonuçlar etkileyicidir. 15 saniyeyi geçin ve karakterler şekil değiştirmeye başlar, fizik bozulur, renkler değişir ve tüm sahne uyumsuzluğa sürüklenir. EPFL'nin VITA Laboratuvarı az önce bir çözüm yayınladı ve bu yıl video üretimi alanında en önemli makale olabilir.

Hiç Kimsenin Çözemediği Kayış Sorunu

Herhangi bir mevcut modelle uzun formlu AI video oluşturmaya çalıştıysanız, hayal kırıklığını bilirsiniz. Sora 2, planınıza bağlı olarak 15 ile 25 saniye arasında sınırlıdır. Runway Gen-4.5, maksimum 10 saniyedir. Kling 3.0, 15 saniyeye gider. Bunun nedeni hesaplama veya bellek değildir. Zamansal kayış olur.

💡

Zamansal kayış, otoregresif video modellerinin çerçeve çerçeve küçük hataları birleştirmesi durumunda meydana gelir. Oluşturulan her çerçeve sonrakinin girdisi olur ve küçük kusurlar üstel olarak birikirler. Yüzlerce çerçeveden sonra, çıktı orijinal isteme pek benzemez.

Bu temelde "telefon oyunu" sorununa benzer. Bir mesajı yeterli sayıda kişi aracılığıyla fısıldayın ve tanınmaz hale gelir. Önceki yaklaşımlar, daha kısa klippler oluşturarak ve bunları birlikte dikerek kayışa karşı savaşmaya çalıştılar, ancak dikişler görülebilirdir. Diğerleri hiyerarşik üretim (önce ana kareleri, ikinci olarak ara değeri) kullanmışlardır, bu yardımcı olur ancak temel sorunu ortadan kaldırmaz.

Hata Dönüşümüne Hoş Geldiniz

Makale, "Stable Video Infinity" başlıklı ve ICLR 2026 Sözlü Sunuş olarak kabul edilen, aldatıcı basit bir fikir sunmaktadır: modeli kendi hatalarıyla başa çıkmayı öğretin.

Sözlü

ICLR 2026 Durumu

Ekstra Hesaplama Maliyeti

Dakika

Video Uzunluğu

Buradaki anahtar içgörü şu şekildedir. Eğitim sırasında, standart video difüzyon modelleri temiz gerçek verilerden öğrenirler. Oluşturdukları çıktıyı asla görmezler. Dağıtım sırasında, birdenbire kendi kusurlu tahminleriyle çalışmak zorundadırlar ve gürültüyle nasıl başa çıkacaklarını bilmezler.

Hata dönüşümü, eğitim döngüsünü değiştirerek bunu düzeltir:

Adım 1

Standart İleri Geçiş

Model, temiz eğitim verilerinden bir video segmenti oluşturur.

Adım 2

Hata Toplanması

Modelin kendi tahminleri (kusurlarıyla birlikte) atılmak yerine yakalanır.

Adım 3

Hata Dönüşümü

Bu kusurlu çıktılar, sonraki eğitim yinelemesi için girdi olarak geri beslenir; modeli kendi tarafından oluşturulan, gürültülü çerçevelerin dışında bile kararlı çıktı oluşturmayı öğretir.

Adım 4

Yinelemeli İyileştirme

Birçok eğitim döngüsü boyunca, model hata birikimini önleyen güçlü bir özself-düzeltme mekanizması öğrenir.

Bu yaklaşımın güzelliği basitliğinde yatmaktadır. Yeni model mimarileri yoktur, ek parametreler yoktur, çıkarım zamanı hileleri yoktur. Model, eğitim sırasında gerçek dağıtım koşullarının nasıl göründüğünü öğrenir.

Bunu Düşündüğünden Neden Daha Önemli?

Haliyle, video model sağlayıcılarının her biri daha uzun, daha yüksek kaliteli çıktıyı hedeflemeleri durumunda, video üretimi alanında devrim niteliğindedir. Hata dönüşümü, sonraki nesil yeteneklerin kilidini açan eksik parça olabilir.

Hata Dönüşümü Öncesi

Video modelleri 4-20 saniye ile sınırlıdır
Sahne tutarlılığı hızla bozulur
Karakter kimliği birkaç saniyeye kaymıştır
Fizik giderek daha gerçekçi olmayan hale gelir
Renk ve ışık öngörülemeyen şekilde değişir

Hata Dönüşümü Sonrası

Çok dakikalı uyumlu video üretimi
Tüm video boyunca istikrarlı karakter görünümü
Tutarlı fizik ve mekansal ilişkiler
Güvenilir renk düzeltmesi ve ışıklandırması
Zamanla hiçbir görünür kalite düşüşü yoktur

Rakamlar

VITA Lab ekibi, Stable Video Infinity'i birden fazla mimari ve kıyas boyunca test etti. Sonuçlar dikkat çekicidir:

Metrik	Hata Dönüşümü Olmaksızın	Hata Dönüşümü İle	İyileştirme
FVD (daha düşük daha iyi)	4s'den sonra bozulur	2+ dakika boyunca istikrarlı	Önemli
Karakter Tutarlılığı	15s'de %60'ın altına düşer	2 dakikada %90+ korunur	Yaklaşık %50 nispi
Zamansal Uyum	8s'de görünür kayış	2 dakikada görünür kayış yok	Niteliksel atlama
Hesaplama Ek Yükü	Temel	Temel (%0 artış)	Sıfır maliyet

💡

Sıfır hesaplama ek yükü yönü kritiktir. Hata dönüşümü bir eğitim zamanı tekniğidir, çıkarım zamanı tekniği değildir. Eğitildikten sonra, model öncekiyle tamamen aynı hızda ve maliyette çalışır.

Hata Dönüşümü Başlık Altında Nasıl Çalışır?

Teknik ayrıntıları isteyenler için, değiştirilmiş eğitim hattında neler olacağı aşağıda açıklanmıştır.

Standart video difüzyon eğitimi, temiz gerçek çerçevelere uygulanan bir gürültü programı epsilon kullanır x_0. Model gürültüyü tahmin etmeyi ve orijinal sinyali kurtarmayı öğrenir. Çıkarım zamanında, model otoregresif olarak çerçeve t+1'i çerçeve t tahmininde şartla oluşturur.

Eğitim (temiz girdiler) ve çıkarım (kendi oluşturulan girdiler) arasındaki boşluğa maruz kalma sapması denir. Hata dönüşümü bunu doğrudan ele alır.

Teknik Ayrıntılar: Değiştirilmiş Eğitim Hedefi▼

Eğitim sırasında, model bazen kendi mevcut ağırlıklarını kullanarak çerçeveleri oluşturur ve gerçek veriler yerine. Bu kendi oluşturulan çerçeveler, kusurlarıyla birlikte tamamlandı, eğitim dizisinde sonraki çerçevelere yönelik şartlama girdileri olarak kullanılır.

Anahtar hiperparametresi, dönüşümü oranı r'dir; bu, eğitim sırasında kendi oluşturulan çerçevelerin gerçek çerçevelerin yerini ne sıklıkta aldığını denetler. Makale, r = 0.3 (%30 dönüştürülen çerçeveler) en uygun performansı elde ettiğini bulur; istikrar iyileştirmesini eğitim sinyali kalitesiyle dengeler.

Değiştirilmiş kayıp fonksiyonu, standart difüzyon hedefini kalır. Tek fark, eğitim sırasında modelin gördüğü veri dağılımıdır. Bu nedenle çıkarım zamanında hesaplama ek yükü yoktur.

Bu, sıra-diziye modellerinde zamanlanmış örneklemesine kavramsal olarak benzer ancak sürekli difüzyon çerçevesi için uyarlanmıştır. VITA Lab ekibi, makalelerinde bu bağlantıyı hesaba katarken, zamanlanmış örneklemesinin naif uygulamasının difüzyon modellerine çalışmadığını belirtirler. Onların katkısı, video üretimi için istikrarlı kılan belirli formülasyondur.

Açık Kaynak Avantajı

Belki en heyecan verici yönü: kod GitHub'da tamamen açık kaynaklıdır (vita-epfl/Stable-Video-Infinity). Bu, herhangi bir araştırma laboratuvarının veya şirketin mevcut video modellerine hata dönüşümü uygulayabileceği anlamına gelir.

✓Açık Kaynak Neden Önemli?

Mevcut herhangi bir video difüzyon modeli hata dönüşümü ile revize edilebilir. Mimari değişiklik gerekmez, yalnızca değiştirilmiş bir eğitim döngüsü. Bu, Sora, Runway, Kling ve aynı anda tüm açık kaynak modeli geliştirebilir.

✗Pratik Sınırlamalar

Modeli yeniden eğitim veya ince ayar gerektirir. Tescilli modelleri olan şirketler, yeniden eğitim için işlem kaynaklarına yatırım yapması gerekir. Tekniğin etkinliği farklı mimariler ve ölçekler arasında değişebilir.

Açık kaynak yayınlanması, AI video araştırma topluluğu içinde büyüyen bir trendi izler. LTX-2 ve Wan 2.6 gibi modeller, açık kaynak yaklaşımlarının tescilli alternatiflerle rekabet edebileceğini gösterdi.

Endüstri İçin Bunun Anlamı

Zamanlama dikkat çekicidir. Runway'dan ByteDance'ye kadar her büyük oyuncunun daha uzun, daha yüksek kaliteli çıktı hedeflediği bir AI video silahlanma yarışı ortasındayız. Hata dönüşümü, sonraki nesil yeteneklerin kilidini açan eksik parça olabilir.

🎬

Filmciler ve Yaratıcılar İçin

Uzun formlu uyumlu video üretimi gerçek anlatı içeriğini sağlar. Sadece klipleri değil, sahneleri, dizileri ve sonunda tek bir istemden oluşturulan kısa filmler.

🔬

Araştırmacılar İçin

Hata dönüşümü genelleştirilebilir bir çerçeve sağlar. Aynı prensip, ses üretimi, 3D sahne sentezi ve kayıştan muzdarip herhangi bir otoregresif jeneratif modele uygulanabilir.

🏢

Kuruluşlar İçin

Kararlı uzun formlu üretim, AI videoyu profesyonel kullanım durumları için uygulanabilir kılar; ürün gösterileri, eğitim videoları, dakikalar boyunca tutarlı kalite gerektiren pazarlama kampanyaları.

İleriye Doğru Bakış

VITA Lab'ın çalışması, AI video üretimi hakkında düşünme tarzımızda temel bir dönüşümü temsil eder. Giderek daha büyük modeller oluşturmak veya karmaşık çıkarım zamanı mekanizmaları eklemek yerine, çözüm modele kendi çıktısının nasıl göründüğünü göstermekti.

Makale ICLR 2026'da sunulacak ve birçok endüstri kaynağı, büyük video model sağlayıcılarının zaten entegrasyonu keşfettiğini öne sürmektedir. Dünya modelleri fizik ve uzayı anlamak için AI'nın geleceğini temsil ediyorsa, hata dönüşümü bu anlayışı zamanla korumak için AI'nın geleceğini temsil eder.

✅

4 saniyelik AI video çağı, herkesin beklediğinden daha kısa bir sürede sona erebilir. Ve yeni bir model mimarisi veya milyar dolarlık bir işlem bütçesi gerektirmeyecektir. Sadece daha akıllı bir eğitim döngüsü.

Daha Fazla Okuma

Açık Kaynak AI Video Devrimi: Açık modellerin tescilli sistemlerle boşluğu nasıl kapadığını
AI Videoda Fizik Simülasyonu: Modellerin fiziksel tutarlılığı nasıl öğrendiğini anlamak
Difüzyon Transformatörleri: Modern video üretim modellerini güçlendiren mimari