EPFL Stable Video Infinity: Kif ir-Riċiklaġġ tal-Iżbalji Jsolvi l-Akbar Problema tal-Vidjo bl-AI

Kull mudell ta' vidjo bl-AI għandu l-istess sigriet ikrah. Iġġenera klipp ta' 4 sekondi u r-riżultati jidhru mill-isbaħ. Aqbeż il-15-il sekonda u l-karattri jibdew jittrasformaw, il-fiżika ma tibqax taħdem, il-kuluri jinbidlu, u x-xena kollha tiddevja lejn l-inkoerenza. Il-VITA Lab tal-EPFL għadu kif ippubblika soluzzjoni, u tista' tkun l-aktar dokument importanti fil-ġenerazzjoni ta' vidjows din is-sena.

Il-Problema tad-Drift Li Ħadd Ma Solva

Jekk ippruvajt tiġġenera vidjo fit-tul bl-AI b'xi mudell attwali, taf il-frustrazzjoni. Sora 2 jillimita għal 15 sa 25 sekonda skont il-pjan tiegħek. Runway Gen-4.5 jilħaq massimu ta' 10. Kling 3.0 jasal sa 15. Ir-raġuni mhijiex il-komputazzjoni jew il-memorja. Hija d-drift temporali.

💡

Id-drift temporali jseħħ meta mudelli awtoregressivi tal-vidjo jakkumulaw żbalji żgħar frejm wara frejm. Kull frejm iġġenerat isir l-input għal dak li jmiss, u imperfezzjonijiet ċkejkna jikkumulaw b'mod esponenzjali. Wara ftit mijiet ta' frejms, l-output bilkemm jixbah il-prompt oriġinali.

Dan huwa fundamentalment simili għall-problema tal-"telephone game". Ixgħel messaġġ minn biżżejjed nies u jsir irrikonoxxibbli. Approċċi preċedenti ppruvaw jiġġieldu d-drift billi jiġġeneraw klipps iqsar u jgħaqqduhom flimkien, iżda l-ġonot jidhru. Oħrajn użaw ġenerazzjoni ġerarkika (keyframes l-ewwel, interpolazzjoni wara), li tgħin iżda ma teliminax il-kwistjoni ċentrali.

Daħal ir-Riċiklaġġ tal-Iżbalji

Id-dokument, bit-titlu "Stable Video Infinity" u aċċettat bħala preżentazzjoni Oral fl-ICLR 2026, jintroduċi idea sempliċi b'mod qarrieqi: għallem lill-mudell jimmaniġġja l-iżbalji tiegħu stess.

Oral

Status tal-ICLR 2026

Spiża Komputazzjonali Żejda

Minuti

Tul tal-Vidjo

Hawn l-għarfien ewlieni. Waqt it-taħriġ, mudelli standard ta' diffusion għall-vidjo jitgħallmu minn data nadifa ta' ground truth. Qatt ma jaraw l-output iġġenerat minnhom stess. Meta jiġu skjerati, f'daqqa waħda jkollhom jaħdmu bil-previżjonijiet imperfetti tagħhom stess bħala input, u ma jafux kif jimmaniġġjaw l-istorbju.

Ir-riċiklaġġ tal-iżbalji jsolvi dan billi jimmodifika ċ-ċiklu tat-taħriġ:

Pass 1

Pass 'il Quddiem Standard

Il-mudell jiġġenera segment ta' vidjo minn data ta' taħriġ nadifa.

Pass 2

Ġbir tal-Iżbalji

Il-previżjonijiet tal-mudell stess, bl-imperfezzjonijiet tagħhom, jinqabdu minflok jintremew.

Pass 3

Riċiklaġġ tal-Iżbalji

Dawn l-output imperfetti jiddaħħlu lura bħala input għall-iterazzjoni ta' taħriġ li jmiss, u jgħallmu lill-mudell jiġġenera output stabbli anke minn frejms storbjużi ġġenerati minnu nnifsu.

Pass 4

Titjib Iterattiv

Matul ħafna ċikli ta' taħriġ, il-mudell jitgħallem mekkaniżmu robust ta' awtokorrezzjoni li jipprevjeni l-akkumulazzjoni tal-iżbalji.

Is-sbuħija ta' dan l-approċċ hija l-eleganza tiegħu. M'hemmx arkitetturi ġodda ta' mudelli, l-ebda parametru addizzjonali, u l-ebda trick waqt l-inference. Il-mudell sempliċement jitgħallem waqt it-taħriġ kif jidhru l-kundizzjonijiet reali tal-iskjerament.

Għaliex Dan Ifisser Aktar Milli Taħseb

L-implikazzjonijiet imorru ferm lil hinn mill-ġenerazzjoni ta' vidjows itwal tal-qtates. Hawn x'jinbidel:

Qabel ir-Riċiklaġġ tal-Iżbalji

Mudelli tal-vidjo limitati għal 4-20 sekonda
Il-konsistenza tax-xena tiddeterjora malajr
L-identità tal-karattru tiddevja wara ftit sekondi
Il-fiżika ssir dejjem aktar mhux realistika
Il-kulur u d-dawl jinbidlu b'mod imprevedibbli

Wara r-Riċiklaġġ tal-Iżbalji

Ġenerazzjoni koerenti ta' vidjow ta' diversi minuti
Dehra stabbli tal-karattru matul il-vidjo kollu
Fiżika u relazzjonijiet spazjali konsistenti
Gradazzjoni affidabbli tal-kulur u tad-dawl
L-ebda degradazzjoni viżibbli tal-kwalità maż-żmien

In-Numri

It-tim tal-VITA Lab ttestja Stable Video Infinity f'diversi arkitetturi u benchmarks. Ir-riżultati huma impressjonanti:

Metrika	Mingħajr Riċiklaġġ tal-Iżbalji	Bir-Riċiklaġġ tal-Iżbalji	Titjib
FVD (inqas huwa aħjar)	Jiddeterjora wara 4s	Stabbli sa 2min+	Sinifikanti
Konsistenza tal-Karattru	Tinżel taħt 60% f'15s	Iżżomm 90%+ f'2min	~50% relattiv
Koerenza Temporali	Drift viżibbli f'8s	L-ebda drift viżibbli f'2min	Qabża kwalitattiva
Overhead Komputazzjonali	Linja bażi	Linja bażi (żieda ta' 0%)	Spiża żero

💡

L-aspett tal-overhead komputazzjonali żero huwa kritiku. Ir-riċiklaġġ tal-iżbalji huwa teknika tal-ħin tat-taħriġ, mhux waħda tal-ħin tal-inference. Ladarba jitħarreġ, il-mudell jaħdem eżatt bl-istess veloċità u spiża bħal qabel.

Kif Jaħdem ir-Riċiklaġġ tal-Iżbalji Internament

Għal min irid id-dettalji tekniċi, hawn x'jiġri fil-pipeline ta' taħriġ modifikat.

It-taħriġ standard tad-diffusion għall-vidjo juża skeda ta' storbju epsilon applikata għal frejms nodfa ta' ground truth x_0. Il-mudell jitgħallem jipprevedi l-istorbju u jirkupra s-sinjal oriġinali. Waqt l-inference, il-mudell jiġġenera b'mod awtoregressiv frejm t+1 ikkundizzjonat fuq il-previżjoni tiegħu tal-frejm t.

Id-distakk bejn it-taħriġ (inputs nodfa) u l-inference (inputs iġġenerati minnu nnifsu) jissejjaħ exposure bias. Ir-riċiklaġġ tal-iżbalji jindirizza dan direttament.

Dettalji Tekniċi: Għan ta' Taħriġ Modifikat▼

Waqt it-taħriġ, il-mudell jiġġenera frejms perjodikament billi juża l-piżijiet kurrenti tiegħu stess minflok data ta' ground truth. Dawn il-frejms iġġenerati minnu nnifsu, bl-imperfezzjonijiet kollha tagħhom, imbagħad jintużaw bħala inputs ta' kundizzjonament għal frejms sussegwenti fis-sekwenza tat-taħriġ.

L-iperparametru ewlieni huwa l-proporzjon tar-riċiklaġġ r, li jikkontrolla kemm-il darba frejms iġġenerati minnu nnifsu jissostitwixxu frejms ta' ground truth waqt it-taħriġ. Id-dokument isib li r = 0.3 (30% frejms riċiklati) jikseb prestazzjoni ottimali, billi jibbilanċja t-titjib fl-istabbiltà mal-kwalità tas-sinjal tat-taħriġ.

Il-funzjoni tat-telf modifikata tibqa' l-għan standard tad-diffusion. L-unika differenza hija d-distribuzzjoni tad-data li l-mudell jara waqt it-taħriġ. Għalhekk m'hemm l-ebda overhead komputazzjonali waqt l-inference.

Dan huwa kunċettwalment simili għal scheduled sampling f'mudelli sequence-to-sequence, iżda adattat għall-qafas kontinwu tad-diffusion. It-tim tal-VITA Lab jagħti kreditu lil din il-konnessjoni fid-dokument tagħhom, filwaqt li jinnota li l-applikazzjoni naiva ta' scheduled sampling għal mudelli tad-diffusion ma taħdimx. Il-kontribut tagħhom huwa l-formulazzjoni speċifika li tagħmilha stabbli għall-ġenerazzjoni ta' vidjows.

Il-Vantaġġ tal-Open-Source

Forsi l-aktar aspett eċċitanti: il-kodiċi huwa kompletament open-source fuq GitHub (vita-epfl/Stable-Video-Infinity). Dan ifisser li kwalunkwe laboratorju ta' riċerka jew kumpanija jista' japplika r-riċiklaġġ tal-iżbalji għall-mudelli eżistenti tagħhom tal-vidjo.

✓Għaliex Open-Source Huwa Importanti

Kull mudell eżistenti tad-diffusion għall-vidjo jista' jiġi adattat bir-riċiklaġġ tal-iżbalji. Ma huma meħtieġa l-ebda bidliet arkitettoniċi, biss ċiklu ta' taħriġ modifikat. Dan jista' jtejjeb Sora, Runway, Kling, u kull mudell open-source simultanjament.

✗Limitazzjonijiet Prattiċi

Jeħtieġ taħriġ mill-ġdid jew fine-tuning tal-mudell. Kumpaniji b'mudelli proprjetarji jeħtieġ li jinvestu komputazzjoni fit-taħriġ mill-ġdid. L-effettività tat-teknika tista' tvarja bejn arkitetturi u skali differenti.

Ir-rilaxx open-source isegwi xejra dejjem tikber fil-komunità tar-riċerka dwar il-vidjo bl-AI. Mudelli bħal LTX-2 u Wan 2.6 wrew li approċċi open-source jistgħu jikkompetu ma' alternattivi proprjetarji.

Xi Jfisser Dan għall-Industrija

Iż-żmien huwa notevoli. Qegħdin f'nofs tellieqa għall-armi fil-vidjo bl-AI fejn kull attur ewlieni, minn Runway sa ByteDance, qed jimbotta għal output itwal u ta' kwalità ogħla. Ir-riċiklaġġ tal-iżbalji jista' jkun il-biċċa nieqsa li tiftaħ il-ġenerazzjoni li jmiss ta' kapaċitajiet.

🎬

Għall-Filmmakers u l-Ħallieqa

Il-ġenerazzjoni koerenti ta' vidjow fit-tul tippermetti kontenut narrattiv reali. Mhux biss klipps, iżda xeni, sekwenzi, u eventwalment films qosra ġġenerati minn prompt wieħed.

🔬

Għar-Riċerkaturi

Ir-riċiklaġġ tal-iżbalji jipprovdi qafas ġeneralizzabbli. L-istess prinċipju jista' japplika għall-ġenerazzjoni tal-awdjo, is-sintesi ta' xeni 3D, u kwalunkwe mudell ġenerattiv awtoregressiv li jsofri mid-drift.

🏢

Għall-Intrapriżi

Ġenerazzjoni stabbli fit-tul tagħmel il-vidjo bl-AI vijabbli għal każijiet ta' użu professjonali: demos tal-prodotti, vidjows ta' taħriġ, kampanji ta' marketing li jeħtieġu kwalità konsistenti tul minuti ta' kontenut.

Ħarsa 'l Quddiem

Ix-xogħol tal-VITA Lab jirrappreżenta bidla fundamentali fil-mod kif naħsbu dwar il-ġenerazzjoni ta' vidjows bl-AI. Minflok nibnu mudelli dejjem akbar jew inżidu mekkaniżmi kumplessi waqt l-inference, is-soluzzjoni kienet sempliċement li nuru lill-mudell kif jidher l-output tiegħu stess.

Id-dokument se jiġi ppreżentat fl-ICLR 2026, u diversi sorsi tal-industrija jissuġġerixxu li fornituri ewlenin ta' mudelli tal-vidjo diġà qed jesploraw l-integrazzjoni. Jekk world models jirrappreżentaw il-futur ta' kif l-AI tifhem il-fiżika u l-ispazju, ir-riċiklaġġ tal-iżbalji jirrappreżenta l-futur ta' kif l-AI żżomm dak il-fehim maż-żmien.

✅

L-era tal-vidjows bl-AI ta' 4 sekondi tista' tkun qed tintemm aktar kmieni milli kien mistenni. U mhux se teħtieġ arkitettura ġdida ta' mudell jew baġit komputazzjonali ta' biljun dollaru. Biss ċiklu ta' taħriġ aktar intelliġenti.

Aktar Qari

Ir-Rivoluzzjoni Open-Source tal-Vidjo bl-AI: Kif mudelli miftuħa qed inaqqsu d-distakk ma' sistemi proprjetarji
Simulazzjoni tal-Fiżika fil-Vidjo bl-AI: Nifhmu kif il-mudelli jitgħallmu l-konsistenza fiżika
Diffusion Transformers: L-arkitettura li tħaddem il-ġenerazzjoni moderna tal-vidjow

Sorsi

Konferenza Internazzjonali dwar Learning Representations: Oral (Status tal-ICLR 2026) (Konferenza Internazzjonali dwar Learning Representations)
Riċerkaturi tal-EPFL VITA permezz ta' arXiv: Stable Video Infinity jappoġġja ġenerazzjoni ta' vidjo b'tul infinit mingħajr inference addizzjonali… (Riċerkaturi tal-EPFL VITA permezz ta' arXiv)