ByteDance Vidi2: AI, ktorá rozumie videu ako editor

Problém, o ktorom nikto nehovorí

Teraz máme neuveriteľné AI generátory videa. Runway Gen-4.5 vedie rebríčky kvality. Kling O1 generuje synchronizované audio. Ale tu je špinavé tajomstvo video produkcie: väčšina času ide na strih, nie na tvorbu.

Svadobný kameraman nakrúti 8 hodín materiálu pre 5-minútové video s najlepšími momentmi. Tvorca obsahu nahrá 45 minút, aby urobil 60-sekundový TikTok. Firemný tým má 200 hodín školiacich záznamov zakopané v SharePointe.

Vidi2 rieši túto medzeru. Nie je to ďalší generátor. Je to AI, ktorá sleduje video, chápe, co sa deje, a pomáha vám pracovať s týmto obsahom vo veľkom.

Čo Vidi2 reálne robí

ByteDance opisuje Vidi2 ako "veľký multimodálny model pre rozumenie a tvorbu videa". Model s 12 miliardami parametrov vyniká v:

Technická inovácia: priestorovo-časové ukotvenie

Predošlá video AI pracovala v dvoch dimenziách: priestor (čo je v tomto zábere) alebo čas (kedy sa niečo deje). Vidi2 kombinuje oboje do toho, čo ByteDance volá "priestorovo-časové ukotvenie" (STG).

Toto je dôležité, pretože skutočné úlohy strihu vyžadujú obe dimenzie. "Odstrániť boom mikrofón" potrebuje vedieť, kde sa objaví (priestorovo) a ako dlho (časovo). Vidi2 to zvládne ako jediný dopyt.

Benchmarky: porážanie gigantov

Tu to začína byť zajímavé. Na benchmarku VUE-STG od ByteDance pre priestorovo-časové ukotvenie Vidi2 prekonáva Gemini 2.0 Flash aj GPT-4o, napriek tomu, že má menej parametrov ako obidva.

Výsledky benchmarkov naznačujú, že rozumenie videu profituje viac zo špecializovaného dizajnu než z čistej veľkosti. Model vytvorený pre video od základu môže prekonať väčšie všeobecné modely, ktoré berú video ako rozšírenie rozumenia obrazu.

Už v produkcii: TikTok Smart Split

Toto nie je vaporware. Vidi2 poháňa funkciu TikTok "Smart Split", ktorá:

• ✓Automaticky extrahuje zaujímavé momenty z dlhých videí
• ✓Generuje titulky synchronizované s rečou
• ✓Rekonštruuje rozloženie pre rôzne pomerky strán
• ✓Identifikuje optimálne body strihu založené na obsahu

Milióny tvorcov používajú Smart Split denne. Model je overený vo veľkom, nie teoreticky.

Open Source: spustite si to sami

ByteDance vydala Vidi2 na GitHube pod licenciou CC BY-NC 4.0. To znamená zadarmo pre výskum, vzdelávanie a osobné projekty, ale komerčné použitie vyžaduje samostatnú licenciu. Dôsledky:

Open source vydanie nasleduje vzor, ktorý sme videli s LTX Video a inými čínskymi AI labami: vydávanie výkonných modelov otvorene, zatiaľ čo západní konkurenti držia svoje proprietárne.

Praktické aplikácie

Prejdem cez niektoré reálne workflow, ktoré Vidi2 umožňuje:

Prepracovanie obsahu

Vstup: 2-hodinová nahrávka podcastu Výstup: 10 krátkych klipov najlepších momentov, každý s vhodnými úvodmi/závermi

Model identifikuje pútavé momenty, nájde prirodzené body strihu a extrahuje klipy, ktoré fungujú ako samostatný obsah.

Správa školiacich videí

Vstup: 500 hodín firemných školiacich záznamov Dotaz: "Nájdi všetky segmenty vysvetľujúce nový CRM workflow"

Namiesto manuálneho prehľadávania alebo spoliehania sa na nespoľahlivé metadáta, Vidi2 skutočne sleduje a chápe obsah.

Športové zostrihy

Vstup: Záznam celého zápasu Výstup: Video najlepších momentov so všetkými gólovými momentmi, tesných situácií a osláv

Model dostatočne dobre chápe športový kontext, aby identifikoval významné momenty, nie len pohyb.

Preskúmanie záznamu z kamier

Vstup: 24 hodín bezpečnostného záznamu Dotaz: "Nájdi všetky prípady, keď ľudia vchádzali bočnými dverami po 18:00"

Priestorovo-časové ukotvenie znamená presné odpovede s exaktnými časovými značkami a lokáciami.

Ako sa porovnáva s generatívnymi modelmi

Toto nie sú konkurenčné technológie. Riešia rôzne problémy. Kompletné AI video workflow potrebuje oboje: generovanie na vytváranie nového obsahu, rozumenie na prácu s existujúcim obsahom.

Širší obraz

Zvážte, čo to umožňuje:

• Každá firma má video obsah uzamknutý v archívoch
• Každý tvorca trávi viac času strihom než nakrúcaním
• Každá platforma potrebuje lepšiu moderáciu a objavovanie obsahu
• Každý výskumník má záznamy, ktoré nemôže efektívne analyzovať

Vidi2 rieši všetko toto. Open source vydanie znamená, že tieto schopnosti sú teraz prístupné komukoľvek s dostatočným výpočtovým výkonom.

Začíname

Model je dostupný na GitHube s dokumentáciou a demo. Požiadavky:

• NVIDIA GPU s aspoň 24GB VRAM pre plný model
• Kvantizované verzie dostupné pre menšie GPU
• Python 3.10+ s PyTorch 2.0+

git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"

Dokumentácia je primárne v angličtine napriek tomu, že ByteDance je čínska firma, čo odráža globálnu cieľovú skupinu.

Čo to znamená pre priemysel

Krajina AI videa má teraz dve odlišné koľaje:

Obe dozrejú. Obe sa integrujú. Kompletný AI video stack roku 2026 bude generovať, strihať a rozumieť plynule.

Zatiaľ Vidi2 predstavuje najschopnejšiu open source možnosť pre rozumenie videu. Ak máte materiál na analýzu, strih na automatizáciu alebo obsah na organizovanie, toto je model na preskúmanie.

Môj názor

Strávil som roky vytváraním pipeline na spracovanie videa. Rozdiel pred a po s modelmi ako Vidi2 je výrazný. Úlohy, ktoré vyžadovali vlastné stacky počítačového videnia, manuálne anotácie a krehké heuristiky, môžu byť teraz vyriešené promptom.

Vidi2 nenahradza editorov. Dáva editorom schopnosti, ktoré boli predtým nemožné vo veľkom. A s otvoreným prístupom (pre nekomerčné použitie) sú tieto schopnosti dostupné komukoľvek ochotnému nastaviť infraštruktúru.

Budúcnosť videa nie je len generovanie. Je to rozumenie. A táto budúcnosť je už open source.

Zdroje

• ByteDance Vidi2 GitHub Repository
• Vidi2 Research Paper (arXiv)
• ByteDance Releases Vidi2 Open-Source AI Model (WinBuzzer)