ByteDance Vidi2: AI som förstår video som en redigerare

Problemet ingen pratar om

Vi har otroliga AI-videogeneratorer nu. Runway Gen-4.5 toppar kvalitetslistorna. Kling O1 genererar synkroniserat ljud. Men här är videoproduktionens hemlighet: det mesta av tiden går åt till redigering, inte skapande.

En bröllopsvideograf filmar 8 timmar råmaterial för en 5 minuter lång höjdpunktsfilm. En kreatör spelar in 45 minuter för att skapa en 60 sekunder lång TikTok. Ett företagsteam har 200 timmar utbildningsmaterial begravt i SharePoint.

Vidi2 tar sig an detta gap. Det är inte ännu en generator. Det är en AI som tittar på video, förstår vad som händer och hjälper dig att arbeta med materialet i stor skala.

Vad Vidi2 faktiskt gör

ByteDance beskriver Vidi2 som en "Large Multimodal Model for Video Understanding and Creation." Modellen med 12 miljarder parametrar briljerar på:

Den tekniska innovationen: Spatio-temporal förankring

Tidigare video-AI arbetade i två dimensioner: rum (vad finns i den här bildrutan) eller tid (när händer något). Vidi2 kombinerar båda till vad ByteDance kallar "Spatio-Temporal Grounding" (STG).

Detta har betydelse eftersom verkliga redigeringsuppgifter kräver båda dimensionerna. "Ta bort bommikrofonen" kräver kunskap om var den syns (rumsligt) och hur länge (tidsmässigt). Vidi2 hanterar detta som en enda förfrågan.

Riktmärken: Besegrar jättarna

Här blir det intressant. På ByteDances VUE-STG-riktmärke för spatio-temporal förankring presterar Vidi2 bättre än både Gemini 2.0 Flash och GPT-4o, trots att den har färre parametrar än båda.

Riktmärkesresultaten antyder att videoförståelse gynnas mer av specialiserad design än av ren storlek. En modell byggd för video från grunden kan överträffa större generella modeller som behandlar video som en förlängning av bildförståelse.

Redan i produktion: TikTok Smart Split

Det här är ingen pappersprodukt. Vidi2 driver TikToks funktion "Smart Split", som:

• ✓Automatiskt extraherar höjdpunkter från långa videor
• ✓Genererar undertexter synkroniserade med tal
• ✓Återskapar layout för olika bildförhållanden
• ✓Identifierar optimala klippunkter baserat på innehåll

Miljontals kreatörer använder Smart Split dagligen. Modellen är beprövad i stor skala, inte bara i teorin.

Öppen källkod: Kör den själv

ByteDance släppte Vidi2 på GitHub under en CC BY-NC 4.0-licens. Det innebär att den är gratis för forskning, utbildning och personliga projekt, men kommersiell användning kräver separat licensiering. Konsekvenserna:

Släppet som öppen källkod följer ett mönster vi har sett med LTX Video och andra kinesiska AI-labb: de släpper kraftfulla modeller öppet medan västerländska konkurrenter håller sina proprietära.

Praktiska tillämpningar

Låt oss gå igenom några verkliga arbetsflöden som Vidi2 möjliggör:

Återanvändning av innehåll

Indata: 2 timmars podcastinspelning Utdata: 10 korta klipp med de bästa ögonblicken, vart och ett med ordentliga intro- och outro-klipp

Modellen identifierar engagerande ögonblick, hittar naturliga klippunkter och extraherar klipp som fungerar som fristående innehåll.

Hantering av utbildningsvideor

Indata: 500 timmar av företagets utbildningsmaterial Sökning: "Hitta alla segment som förklarar det nya CRM-arbetsflödet"

Istället för manuell genomspolning eller att förlita sig på otillförlitlig metadata tittar Vidi2 faktiskt på och förstår innehållet.

Sporthöjdpunkter

Indata: Fullständig matchinspelning Utdata: Höjdpunktsfilm med alla målsituationer, nära lägen och firanden

Modellen förstår sportkontext tillräckligt väl för att identifiera meningsfulla ögonblick, inte bara rörelse.

Granskning av övervakningsfilm

Indata: 24 timmars säkerhetsmaterial Sökning: "Hitta alla tillfällen där personer går in genom sidodörren efter 18:00"

Spatio-temporal förankring innebär precisa svar med exakta tidsstämplar och platser.

Hur den står sig mot genereringsmodeller

Det här är inte konkurrerande teknologier. De löser olika problem. Ett komplett arbetsflöde för AI-video behöver båda: generering för att skapa nytt innehåll, förståelse för att arbeta med befintligt material.

Helhetsbilden

Tänk på vad detta möjliggör:

• Varje företag har videoinnehåll fast i arkiv
• Varje kreatör lägger mer tid på att redigera än att filma
• Varje plattform behöver bättre innehållsmoderering och upptäckbarhet
• Varje forskare har material de inte kan analysera effektivt

Vidi2 hanterar allt detta. Släppet som öppen källkod innebär att dessa funktioner nu är tillgängliga för alla med tillräcklig beräkningskraft.

Kom igång

Modellen finns tillgänglig på GitHub med dokumentation och demonstrationer. Krav:

• NVIDIA GPU med minst 24GB VRAM för hela modellen
• Kvantiserade versioner finns tillgängliga för mindre GPU:er
• Python 3.10+ med PyTorch 2.0+

git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"

Dokumentationen är i huvudsak på engelska trots att ByteDance är ett kinesiskt företag, vilket återspeglar den globala målgruppen.

Vad detta innebär för branschen

AI-videolandskapet har nu två tydliga spår:

Båda kommer att mogna. Båda kommer att integreras. Den kompletta AI-videostacken 2026 kommer att generera, redigera och förstå smidigt.

För närvarande representerar Vidi2 det mest kapabla alternativet med öppen källkod för videoförståelse. Om du har material att analysera, redigering att automatisera eller innehåll att organisera är detta modellen att utforska.

Min syn på det hela

För alla som har byggt pipelines för videobearbetning är skillnaden före och efter modeller som Vidi2 slående. Uppgifter som krävde anpassade datorseendestackar, manuell annotering och sköra heuristiker kan nu lösas med en prompt.

Vidi2 ersätter inte redigerare. Den ger redigerare kapacitet som tidigare var omöjlig i stor skala. Och med öppen tillgång (för icke-kommersiellt bruk) är dessa funktioner tillgängliga för alla som är villiga att sätta upp infrastrukturen.

Framtiden för video handlar inte bara om generering. Den handlar om förståelse. Och den framtiden är nu öppen källkod.

Källor

• ByteDance Vidi2 GitHub Repository
• Vidi2 Research Paper (arXiv)
• ByteDance Releases Vidi2 Open-Source AI Model (WinBuzzer)