Damien· DI autorius, peržiūrėjo žmogusByteDance Vidi2: DI, kuri supranta vaizdo įrašą kaip montažo redaktorius
ByteDance ką tik atvirojo kodo principu išleido Vidi2, 12B parametrų modelį, kuris pakankamai gerai supranta vaizdo turinį, kad automatiškai sumontuotų valandų trukmės medžiagą į nugludintus klipus. Jis jau veikia TikTok Smart Split.
Kol visi apsėsti vaizdo įrašų generavimo, ByteDance tyliai išsprendė kitą problemą: kaip priversti DI suprasti vaizdo įrašus kaip patyrusį montažo redaktorių. Vidi2 gali peržiūrėti valandų valandas neapdorotos medžiagos ir išskirti būtent tai, kas svarbu.
Problema, apie kurią niekas nekalba
Dabar turime neįtikėtinų DI vaizdo įrašų generatorių. Runway Gen-4.5 pirmauja kokybės lentelėse. Kling O1 generuoja sinchronizuotą garsą. Tačiau štai nešvari vaizdo įrašų kūrimo paslaptis: daugiausia laiko skiriama montažui, o ne kūrimui.
Vestuvinių vaizdo įrašų kūrėjas nufilmuoja 8 valandas medžiagos 5 minučių svarbiausių akimirkų klipui. Turinio kūrėjas įrašo 45 minutes, kad sukurtų 60 sekundžių TikTok. Įmonės komanda turi 200 valandų mokomosios medžiagos, palaidotos SharePoint.
Vaizdo įrašų generavimas patenka į antraštes. Vaizdo įrašų supratimas atlieka tikrąjį darbą.
Vidi2 sprendžia šią spragą. Tai nėra dar vienas generatorius. Tai DI, kuris žiūri vaizdo įrašą, supranta, kas vyksta, ir padeda dirbti su tuo turiniu dideliu mastu.
Ką iš tikrųjų daro Vidi2
ByteDance Vidi2 apibūdina kaip „didelį multimodalinį modelį vaizdo įrašų supratimui ir kūrimui“. 12 milijardų parametrų modelis puikiai atlieka:
Erdvinis-laikinis susiejimas
Randa bet kurį objektą vaizdo įraše ir seka jį laikui bėgant. Ne tik „katė yra ties 0:32“, bet „katė įeina ties 0:32, pereina prie sofos ties 0:45 ir palieka kadrą ties 1:12“.
Išmanusis montažas
Analizuoja medžiagą ir siūlo kirpimus pagal turinį. Randa geriausias akimirkas, nustato scenų ribas, supranta tempą.
Turinio analizė
Pakankamai išsamiai aprašo, kas vyksta vaizdo įraše, kad tai būtų naudinga. Ne „kalbasi du žmonės“, bet „interviu segmentas, svečias aiškina produkto funkcijas, didelio įsitraukimo akimirka ties 3:45“.
Objektų sekimas
Seka objektus kaip tęstinius „vamzdžius“ per vaizdo įrašą, net kai jie palieka kadrą ir vėl į jį sugrįžta. Tai leidžia tiksliai atrinkti objektus efektams, pašalinimui ar paryškinimui.
Techninė naujovė: erdvinis-laikinis susiejimas
Ankstesni vaizdo įrašų DI veikė dviem dimensijomis: erdve (kas yra šiame kadre) arba laiku (kada kažkas vyksta). Vidi2 sujungia abi į tai, ką ByteDance vadina „erdviniu-laikiniu susiejimu“ (STG).
Tradicinis metodas:
- Erdvinis: „Automobilis yra pikselių koordinatėse (450, 320)“
- Laikinis: „Automobilis pasirodo laiko žymoje 0:15“
- Rezultatas: Nesusieta informacija, kuriai reikia rankinio susiejimo
Vidi2 STG:
- Sujungta: „Raudonas automobilis yra ties (450, 320) 0:15, juda į (890, 340) 0:18 ir išvažiuoja į dešinę 0:22“
- Rezultatas: Visa objekto trajektorija erdvėje ir laike
Tai svarbu, nes tikroms montažo užduotims reikia abiejų dimensijų. Užklausa „Pašalinkite mikrofono laikiklį“ turi žinoti, kur jis atsiranda (erdviškai) ir kiek laiko matomas (laikiškai). Vidi2 tai tvarko kaip vieną užklausą.
Testai: pranoksta milžinus
Čia darosi įdomu. ByteDance VUE-STG erdvinio-laikinio susiejimo teste Vidi2 pranoksta tiek Gemini 2.0 Flash, tiek GPT-4o, nors turi mažiau parametrų nei abu.
Svarbi išlyga: šiuos testus sukūrė ByteDance. Nepriklausomas patvirtinimas trečiųjų šalių testuose sustiprintų šiuos teiginius. Vis dėlto specializuotos architektūros metodas yra pagrįstas.
Testų rezultatai rodo, kad vaizdo įrašų supratimui daugiau naudos duoda specializuotas dizainas nei vien žaliavinė apimtis. Modelis, nuo pradžių kuriamas vaizdo įrašams, gali pranokti didesnius bendrosios paskirties modelius, kurie vaizdo įrašus traktuoja kaip vaizdų supratimo plėtinį.
Jau naudojama produkcijoje: TikTok Smart Split
Tai nėra garų programinė įranga. Vidi2 palaiko TikTok funkciją „Smart Split“, kuri:
- ✓Automatiškai ištraukia svarbiausias akimirkas iš ilgų vaizdo įrašų
- ✓Generuoja su kalba sinchronizuotus subtitrus
- ✓Pritaiko išdėstymą skirtingiems kraštinių santykiams
- ✓Nustato optimalius kirpimo taškus pagal turinį
Milijonai kūrėjų kasdien naudoja Smart Split. Modelis yra patikrintas dideliu mastu, ne vien teorinis.
Atvirasis kodas: paleiskite patys
ByteDance išleido Vidi2 GitHub platformoje pagal CC BY-NC 4.0 licenciją. Tai reiškia, kad jis nemokamas moksliniams tyrimams, švietimui ir asmeniniams projektams, tačiau komerciniam naudojimui reikalinga atskira licencija. Pasekmės:
Programuotojams:
- Kurkite pasirinktinius vaizdo įrašų analizės procesus
- Integruokite supratimą į esamus įrankius
- Tiksliai pritaikykite konkrečioms sritims
- Jokių API išlaidų dideliu mastu
Įmonėms:
- Apdorokite jautrią medžiagą vietoje
- Kurkite nuosavus montažo procesus
- Venkite priklausomybės nuo tiekėjo
- Pritaikykite vidiniams turinio tipams
Atvirojo kodo išleidimas tęsia tendenciją, kurią matėme su LTX Video ir kitomis Kinijos DI laboratorijomis: galingi modeliai išleidžiami atvirai, kol Vakarų konkurentai savus laiko nuosavybiniais.
Praktinis pritaikymas
Leiskite aptarti kelis realius procesus, kuriuos įgalina Vidi2:
Turinio pakartotinis panaudojimas
Įvestis: 2 valandų tinklalaidės įrašas
Išvestis: 10 trumpų geriausių akimirkų klipų, kiekvienas su tinkamais įžangos ir pabaigos kirpimais
Modelis nustato įtraukiančias akimirkas, randa natūralius kirpimo taškus ir ištraukia klipus, kurie veikia kaip savarankiškas turinys.
Mokomųjų vaizdo įrašų valdymas
Įvestis: 500 valandų įmonės mokomosios medžiagos
Užklausa: „Raskite visus segmentus, aiškinančius naują CRM darbo eigą“
Vietoje rankinio peržiūrėjimo ar pasikliovimo nepatikimais metaduomenimis Vidi2 iš tikrųjų žiūri ir supranta turinį.
Sporto svarbiausios akimirkos
Įvestis: viso mačo įrašas
Išvestis: svarbiausių akimirkų klipas su visais įvarčiais ar taškų pelnymu, pavojingais momentais ir šventimais
Modelis pakankamai gerai supranta sporto kontekstą, kad nustatytų prasmingas akimirkas, o ne tik judesį.
Stebėjimo įrašų peržiūra
Įvestis: 24 valandos apsaugos kamerų medžiagos
Užklausa: „Raskite visus atvejus, kai žmonės įėjo pro šonines duris po 18 val.“
Erdvinis-laikinis susiejimas reiškia tikslius atsakymus su tiksliomis laiko žymomis ir vietomis.
Kaip jis lyginamas su generavimo modeliais
- Veikia su esama medžiaga
- Taupo montažo, o ne generavimo laiką
- Pritaikomas didžiulėms vaizdo įrašų bibliotekoms
- Nereikia kūrybinių užklausų
- Iškart praktiškas įmonėms
- Kuria naują turinį iš nieko
- Kūrybinės raiškos įrankis
- Rinkodaros ir reklamos pritaikymas
- Kokybė sparčiai auga
- Įdomus, bet kitoks naudojimo atvejis
Tai nėra konkuruojančios technologijos. Jos sprendžia skirtingas problemas. Pilnam DI vaizdo įrašų procesui reikia abiejų: generavimo naujam turiniui kurti ir supratimo darbui su esamu turiniu.
Platesnis vaizdas
Vaizdo įrašų supratimas yra sritis, kurioje DI pereina nuo „įspūdingos demonstracijos“ prie „kasdienio įrankio“. Generavimas patraukia dėmesį. Supratimas padeda atlikti darbą.
Apsvarstykite, ką tai įgalina:
- Kiekviena įmonė turi archyvuose įstrigusio vaizdo turinio
- Kiekvienas kūrėjas daugiau laiko praleidžia montuodamas nei filmuodamas
- Kiekvienai platformai reikia geresnio turinio moderavimo ir atradimo
- Kiekvienas tyrėjas turi medžiagos, kurios negali efektyviai analizuoti
Vidi2 sprendžia visa tai. Atvirojo kodo išleidimas reiškia, kad šios galimybės dabar prieinamos visiems, turintiems pakankamai skaičiavimo pajėgumų.
Kaip pradėti
Modelis prieinamas GitHub platformoje su dokumentacija ir demonstracijomis. Reikalavimai:
- NVIDIA GPU su bent 24GB VRAM pilnam modeliui
- Mažesniems GPU prieinamos kvantuotos versijos
- Python 3.10+ su PyTorch 2.0+
Greita pradžia:
git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"Dokumentacija daugiausia pateikiama anglų kalba, nors ByteDance yra Kinijos bendrovė, ir tai atspindi pasaulinę tikslinę auditoriją.
Ką tai reiškia industrijai
DI vaizdo įrašų rinka dabar turi dvi skirtingas kryptis:
| Kryptis | Lyderiai | Pagrindinis tikslas | Vertė |
|---|---|---|---|
| Generavimas | Runway, Sora, Veo, Kling | Kurti naujus vaizdo įrašus | Kūrybinė raiška |
| Supratimas | Vidi2, (kiti atsirandantys) | Analizuoti esamus vaizdo įrašus | Produktyvumas |
Abi kryptys subręs. Abi integruosis. Pilnas 2026 m. DI vaizdo įrašų sprendimų rinkinys sklandžiai generuos, montuos ir supras.
Šiuo metu Vidi2 yra pajėgiausias atvirojo kodo pasirinkimas vaizdo įrašų supratimui. Jei turite medžiagos analizuoti, montažo automatizavimo darbų ar turinio organizavimo poreikių, šį modelį verta išbandyti.
Mano vertinimas
Daugelį metų kūriau vaizdo įrašų apdorojimo procesus. Skirtumas prieš ir po tokių modelių kaip Vidi2 yra ryškus. Užduotys, kurioms reikėjo pasirinktinių kompiuterinės regos sistemų, rankinio žymėjimo ir trapių heuristikų, dabar gali būti išspręstos viena užklausa.
Geriausi DI įrankiai nepakeičia žmogaus sprendimo. Jie pašalina varginantį darbą, kuris neleidžia žmonėms taikyti sprendimo dideliu mastu.
Vidi2 nepakeičia montažo redaktorių. Jis suteikia redaktoriams galimybes, kurios anksčiau buvo neįmanomos dideliu mastu. O dėl atviros prieigos (nekomerciniam naudojimui) šios galimybės prieinamos kiekvienam, pasirengusiam sukurti infrastruktūrą.
Vaizdo įrašų ateitis nėra vien generavimas. Tai ir supratimas. Ir ši ateitis dabar yra atvirojo kodo.
Šaltiniai
DI kūrėjas iš Liono, mėgstantis sudėtingas mašininio mokymosi sąvokas paversti paprastais receptais. Kai netaiso modelių klaidų, jį rasite važinėjantį dviračiu Ronos slėnyje.
View profile →Patiko tai, ką perskaitėte?
Paverskite savo idėjas neribotos trukmės DI vaizdo įrašais per kelias minutes.
Susiję straipsniai
Tęskite pažintį su šiais susijusiais įrašais
Nemokami neriboti DI vaizdo įrašų įrankiai: kas veikia 2026 m.
Nemokami neriboti DI vaizdo įrankiai dažniausiai yra eilės pagrindu arba vietiniai. Sužinokite, kas iš tikrųjų yra neribota, kas sulėtėja ir kaip pasirinkti veiksmingą 2026 m. sprendimą.
DI vaizdo įrašai švietimui: kaip mokytojai ir kursų kūrėjai naudoja dirbtinį intelektą 2026 m.
Nuo paskaitų įrašų iki visų kursų kūrimo, dirbtinio intelekto vaizdo įrankiai keičia, kaip pedagogai kuria turinį. Štai kas veikia, kas ne, ir kur juda technologija.
Bonega ir Synthesia 2026 m.: DI vaizdo įrašų generavimas ir DI vaizdo įrašai verslui
Bonega.ai kuria kinematografiškus DI vaizdo įrašus iš teksto ir vaizdų. Synthesia kuria avatarais paremtus verslo vaizdo įrašus su vertimais. Lyginame kainas, funkcijas ir kuri platforma tinka jūsų darbo eigai.