ByteDance Vidi2: AI, která rozumí videu jako střihač

Problém, o kterém nikdo nemluví

Dnes máme neuvěřitelné generátory AI videa. Runway Gen-4.5 vede žebříčky kvality. Kling O1 generuje synchronizovaný zvuk. Tady je ale špinavé tajemství video produkce: většina času padne na střih, nikoli na samotnou tvorbu.

Svatební kameraman natočí 8 hodin materiálu pro 5minutový sestřih nejlepších momentů. Tvůrce obsahu nahrává 45 minut, aby vytvořil 60sekundový TikTok. Firemní tým má 200 hodin školicích videí pohřbených na SharePointu.

Vidi2 tuto mezeru zaplňuje. Není to další generátor. Je to AI, která sleduje video, chápe, co se v něm děje, a pomáhá vám s tímto obsahem pracovat ve velkém měřítku.

Co Vidi2 ve skutečnosti dělá

ByteDance popisuje Vidi2 jako "velký multimodální model pro porozumění a tvorbu videa". Tento model s 12 miliardami parametrů vyniká v následujících oblastech:

Technická inovace: Prostoročasové ukotvení

Předchozí video AI pracovala ve dvou dimenzích: v prostoru (co je v tomto snímku) nebo v čase (kdy se něco stane). Vidi2 spojuje obojí do toho, co ByteDance nazývá "Spatio-Temporal Grounding" (STG).

Na tom záleží, protože skutečné editační úkoly vyžadují obě dimenze. Požadavek "odstraň mikrofon na tyči" potřebuje vědět, kde se objevuje (prostorově) a jak dlouho (časově). Vidi2 to zvládá jako jediný dotaz.

Benchmarky: Porážka gigantů

Tady to začíná být zajímavé. V benchmarku VUE-STG společnosti ByteDance pro prostoročasové ukotvení překonává Vidi2 jak Gemini 2.0 Flash, tak GPT-4o, přestože má méně parametrů než oba tyto modely.

Výsledky benchmarků naznačují, že porozumění videu těží ze specializovaného návrhu více než z pouhého navyšování parametrů. Model postavený od základu pro video dokáže překonat větší univerzální modely, které s videem zacházejí jen jako s rozšířením porozumění obrázkům.

Již v produkci: TikTok Smart Split

Tohle není žádný vaporware. Vidi2 pohání funkci "Smart Split" v aplikaci TikTok, která:

• ✓Automaticky extrahuje nejlepší momenty z dlouhých videí
• ✓Generuje titulky synchronizované s řečí
• ✓Přenavrhuje rozvržení pro různé poměry stran
• ✓Identifikuje optimální body střihu na základě obsahu

Miliony tvůrců používají Smart Split denně. Model je prověřen v masovém měřítku, není to jen teorie.

Open Source: Spusťte si ho sami

ByteDance vydal Vidi2 na GitHubu pod licencí CC BY-NC 4.0. To znamená, že je zdarma pro výzkum, vzdělávání a osobní projekty, ale komerční využití vyžaduje samostatnou licenci. Jaké to má důsledky:

Vydání formou open source sleduje trend, který jsme viděli u LTX Video a dalších čínských AI laboratoří: otevřené uvolňování výkonných modelů, zatímco západní konkurenti si své modely drží jako proprietární.

Praktická využití

Představme si několik reálných pracovních postupů, které Vidi2 umožňuje:

Recyklace obsahu (Content Repurposing)

Vstup: 2hodinový záznam podcastu Výstup: 10 krátkých klipů s nejlepšími momenty, každý se správným střihem úvodu a závěru

Model identifikuje poutavé momenty, najde přirozené body střihu a extrahuje klipy, které fungují jako samostatný obsah.

Správa školicích videí

Vstup: 500 hodin firemních školicích záznamů Dotaz: "Najdi všechny segmenty vysvětlující nový pracovní postup v CRM"

Místo ručního procházení záznamu nebo spoléhání se na nespolehlivá metadata Vidi2 video skutečně sleduje a chápe jeho obsah.

Sportovní sestřihy

Vstup: Záznam celého zápasu Výstup: Sestřih nejlepších momentů se všemi góly či body, napínavými momenty a oslavami

Model rozumí sportovnímu kontextu natolik dobře, že dokáže identifikovat smysluplné okamžiky, nikoli jen pouhý pohyb.

Kontrola bezpečnostních záznamů

Vstup: 24 hodin bezpečnostního záznamu Dotaz: "Najdi všechny případy lidí vstupujících bočními dveřmi po 18:00"

Prostoročasové ukotvení znamená přesné odpovědi s přesnými časovými značkami a lokacemi.

Jak si stojí ve srovnání s generativními modely

Nejde o konkurenční technologie. Řeší odlišné problémy. Kompletní pracovní postup pro AI video potřebuje obojí: generování pro tvorbu nového obsahu a porozumění pro práci s existujícím obsahem.

Širší souvislosti

Zamyslete se nad tím, co to přináší:

• Každý podnik má video obsah uvězněný v archivech
• Každý tvůrce tráví více času střihem než natáčením
• Každá platforma potřebuje lepší moderování a vyhledávání obsahu
• Každý výzkumník má záznamy, které nedokáže efektivně analyzovat

Vidi2 řeší všechny tyto výzvy. Otevřené vydání znamená, že tyto schopnosti jsou nyní dostupné každému, kdo má dostatečný výpočetní výkon.

Začínáme

Model je k dispozici na GitHubu včetně dokumentace a ukázek. Požadavky:

• Grafická karta NVIDIA s alespoň 24 GB VRAM pro plný model
• Kvantizované verze dostupné pro menší grafické karty
• Python 3.10+ s PyTorch 2.0+

git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"

Dokumentace je navzdory tomu, že ByteDance je čínská společnost, primárně v angličtině, což odráží globální cílovou skupinu.

Co to znamená pro celé odvětví

Oblast AI videa má nyní dvě odlišné větve:

Obě se budou vyvíjet. Obě se propojí. Kompletní technologický balík pro AI video roku 2026 bude hladce generovat, stříhat i chápat.

Vidi2 v současnosti představuje nejschopnější open-source řešení pro porozumění videu. Pokud máte záznamy k analýze, střih k automatizaci nebo obsah k uspořádání, tohle je model, který stojí za prozkoumání.

Můj pohled

Pro každého, kdo někdy stavěl pipeline na zpracování videa, je rozdíl před modely jako Vidi2 a po nich do očí bijící. Úkoly, které dříve vyžadovaly vlastní vrstvy počítačového vidění, manuální anotace a křehké heuristiky, lze nyní vyřešit pouhým promptem.

Vidi2 nenahrazuje střihače. Dává střihačům schopnosti, které byly dříve ve velkém měřítku nedosažitelné. A díky otevřenému přístupu (pro nekomerční účely) jsou tyto možnosti dostupné každému, kdo je ochoten zprovoznit potřebnou infrastrukturu.

Budoucnost videa nespočívá jen v generování. Spočívá v porozumění. A tato budoucnost je nyní open source.

Zdroje

• ByteDance Vidi2 GitHub repozitář
• Vidi2 výzkumná práce (arXiv)
• ByteDance uvolňuje open-source AI model Vidi2 (WinBuzzer)