ByteDance Vidi2: KI, die Videos wie ein Cutter versteht
ByteDance hat Vidi2 als Open Source veroeffentlicht: ein Modell mit 12B Parametern, das Videoinhalte so gut versteht, dass es stundenlanges Rohmaterial automatisch zu fertigen Clips schneidet. Es treibt bereits TikTok Smart Split an.
Damien8 min read
KI-Autor, automatisierte Prüfungen, redaktionell verantwortet
Waehrend alle Welt von Videogenerierung besessen ist, hat ByteDance im Stillen ein anderes Problem geloest: KI dazu zu bringen, Videos wie ein erfahrener Cutter zu verstehen. Vidi2 kann stundenlanges Rohmaterial sichten und genau das extrahieren, worauf es ankommt.
Das Problem, ueber das niemand spricht
Wir verfuegen inzwischen ueber unglaubliche KI-Videogeneratoren. Runway Gen-4.5 fuehrt die Qualitaetsranglisten an. Kling O1 erzeugt synchronisierten Ton. Doch hier liegt das offene Geheimnis der Videoproduktion: Die meiste Zeit fliesst in den Schnitt, nicht in die Erstellung.
Ein Hochzeitsvideograf filmt 8 Stunden Material fuer ein 5-minuetiges Highlight-Video. Ein Content Creator nimmt 45 Minuten auf, um ein 60-Sekunden-TikTok zu erstellen. Ein Unternehmensteam besitzt 200 Stunden Schulungsmaterial, das tief in SharePoint vergraben liegt.
Videogenerierung sorgt fuer Schlagzeilen. Videoverstaendnis erledigt die eigentliche Arbeit.
Vidi2 schliesst genau diese Luecke. Es ist kein weiterer Generator. Es ist eine KI, die Videos analysiert, das Geschehen erfasst und dabei hilft, mit diesen Inhalten im grossen Massstab zu arbeiten.
Was Vidi2 tatsaechlich leistet
ByteDance beschreibt Vidi2 als ein "Large Multimodal Model for Video Understanding and Creation". Das Modell mit 12 Milliarden Parametern glaenzt in folgenden Bereichen:
Spatio-Temporal Grounding
Intelligenter Schnitt
Inhaltsanalyse
Objekt-Tracking
Die technische Innovation: Spatio-Temporal Grounding
Bisherige Video-KI arbeitete in zwei Dimensionen: Raum (was ist in diesem Frame) oder Zeit (wann passiert etwas). Vidi2 vereint beides in dem, was ByteDance "Spatio-Temporal Grounding" (STG) nennt.
Traditioneller Ansatz:
- Raeumlich: "Das Auto befindet sich bei den Pixelkoordinaten (450, 320)"
- Zeitlich: "Ein Auto erscheint bei Zeitstempel 0:15"
- Ergebnis: Getrennte Informationen, die manuell korreliert werden muessen
Vidi2 STG:
- Kombiniert: "Das rote Auto befindet sich bei (450, 320) um 0:15, bewegt sich zu (890, 340) um 0:18, faehrt rechts hinaus um 0:22"
- Ergebnis: Vollstaendige Objekttrajektorie durch Raum und Zeit
Das ist entscheidend, weil echte Schnittaufgaben beide Dimensionen erfordern. "Entferne das Tonangel-Mikrofon" erfordert das Wissen, wo es auftaucht (raeumlich) und wie lange (zeitlich). Vidi2 verarbeitet das in einer einzigen Abfrage.
Benchmarks: Vor den Branchenriesen
Hier wird es interessant. Im VUE-STG-Benchmark von ByteDance fuer Spatio-Temporal Grounding uebertrifft Vidi2 sowohl Gemini 2.0 Flash als auch GPT-4o, obwohl es ueber weniger Parameter als beide verfuegt.
Eine Einschraenkung: Diese Benchmarks stammen von ByteDance selbst. Eine unabhaengige Bestaetigung durch Benchmarks Dritter wuerde diese Aussagen weiter untermauern. Dennoch ist der Ansatz einer spezialisierten Architektur technisch ueberzeugend.
Die Benchmark-Ergebnisse deuten darauf hin, dass Videoverstaendnis staerker von spezialisiertem Design profitiert als von reiner Modellgroesse. Ein Modell, das von Grund auf fuer Video konzipiert wurde, kann groessere Allzweckmodelle uebertreffen, die Video lediglich als Erweiterung des Bildverstaendnisses behandeln.
Bereits im Produktiveinsatz: TikTok Smart Split
Das ist kein Luftschloss. Vidi2 treibt die "Smart Split"-Funktion von TikTok an, welche:
- ✓Automatisch Highlights aus langen Videos extrahiert
- ✓Sprachsynchrone Untertitel generiert
- ✓Das Layout fuer unterschiedliche Seitenverhaeltnisse anpasst
- ✓Optimale Schnittpunkte anhand des Inhalts identifiziert
Millionen von Creators nutzen Smart Split taeglich. Das Modell hat sich in der Praxis bewaehrt und ist nicht bloss theoretischer Natur.
Open Source: Selbst ausfuehren
ByteDance hat Vidi2 auf GitHub unter einer CC BY-NC 4.0-Lizenz bereitgestellt. Das bedeutet: kostenlos fuer Forschung, Bildung und persoenliche Projekte, waehrend fuer die kommerzielle Nutzung eine separate Lizenzierung erforderlich ist. Die Konsequenzen:
Fuer Entwickler:
- Eigene Videoanalyse-Pipelines aufbauen
- Verstaendnisfunktionen in bestehende Tools integrieren
- Fine-Tuning fuer spezifische Fachbereiche
- Keine API-Kosten bei hohen Volumen
Fuer Unternehmen:
- Sensibles Footage lokal verarbeiten
- Proprietaere Schnitt-Workflows entwickeln
- Vendor-Lock-in vermeiden
- An interne Inhaltstypen anpassen
Dieser Open-Source-Schritt folgt einem Muster, das wir bereits bei LTX Video und anderen chinesischen KI-Laboren gesehen haben: Leistungsfaehige Modelle werden offen zugaenglich gemacht, waehrend westliche Wettbewerber ihre Entwicklungen proprietary halten.
Praktische Anwendungsbereiche
Hier sind einige reale Workflows, die Vidi2 ermoeglicht:
Content Repurposing
Eingabe: 2-stuendige Podcast-Aufnahme Ausgabe: 10 kurze Clips der besten Momente, jeweils mit sauber geschnittenem Intro und Outro
Das Modell erkennt packende Momente, findet natuerliche Schnittpunkte und schneidet Clips heraus, die als eigenstaendige Beitraege funktionieren.
Verwaltung von Schulungsvideos
Eingabe: 500 Stunden Schulungsmaterial eines Unternehmens Abfrage: "Finde alle Abschnitte, in denen der neue CRM-Workflow erklaert wird"
Statt manuell vorzuspulen oder sich auf unzuverlaessige Metadaten zu verlassen, sichtet und versteht Vidi2 den Inhalt tatsaechlich.
Sport-Highlights
Eingabe: Komplette Spielaufzeichnung Ausgabe: Highlight-Zusammenfassung mit allen Toren, knappen Szenen und Jubelszenen
Das Modell versteht den sportlichen Kontext gut genug, um echte Schluesselmomente zu erkennen, statt nur blosse Bewegungen zu registrieren.
Auswertung von Sicherheitsaufnahmen
Eingabe: 24 Stunden Ueberwachungsmaterial Abfrage: "Finde alle Faelle, in denen Personen nach 18:00 Uhr die Seitentuer betreten"
Spatio-Temporal Grounding liefert punktgenaue Antworten mit exakten Zeitstempeln und Koordinaten.
Vergleich mit Generierungsmodellen
- Funktioniert mit vorhandenem Footage
- Spart Schnittzeit, nicht Generierungszeit
- Skaliert fuer riesige Videobestaende
- Kein kreatives Prompting notwendig
- Fuer Unternehmen sofort einsatzbereit
- Erstellt neue Inhalte aus dem Nichts
- Werkzeug fuer kreativen Ausdruck
- Anwendungsbereiche in Marketing und Werbung
- Rasant steigende Qualitaet
- Spannender, aber grundlegend anderer Einsatzzweck
Hierbei handelt es sich nicht um konkurrierende Technologien. Sie loesen unterschiedliche Probleme. Ein vollstaendiger KI-Video-Workflow benoetigt beides: Generierung zur Erstellung neuer Inhalte, Verstaendnis fuer die Arbeit mit vorhandenem Material.
Das Gesamtbild
Beim Videoverstaendnis wandelt sich KI von einer "beeindruckenden Demo" zu einem "alltaeglichen Werkzeug". Generierung erzeugt Aufmerksamkeit. Verstaendnis erledigt die Arbeit.
Man bedenke, was dadurch moeglich wird:
- Jedes Unternehmen hat Videoinhalte, die ungenutzt in Archiven lagern
- Jeder Creator verbringt mehr Zeit mit dem Schnitt als mit dem Drehen
- Jede Plattform braucht bessere Werkzeuge fuer Content-Moderation und Discovery
- Jeder Forscher besitzt Material, das sich bisher kaum effizient auswerten liess
Vidi2 setzt an all diesen Punkten an. Durch die Open-Source-Veroeffentlichung stehen diese Faehigkeiten nun jedem offen, der ueber ausreichend Rechenleistung verfuegt.
Erste Schritte
Das Modell ist auf GitHub samt Dokumentation und Demos verfuegbar. Voraussetzungen:
- NVIDIA-GPU mit mindestens 24GB VRAM fuer das vollstaendige Modell
- Quantisierte Versionen fuer kleinere GPUs verfuegbar
- Python 3.10+ mit PyTorch 2.0+
Schnellstart:
git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"Die Dokumentation ist trotz des chinesischen Ursprungs von ByteDance vorwiegend auf Englisch verfasst, was die globale Ausrichtung unterstreicht.
Was das fuer die Branche bedeutet
Die KI-Videolandschaft teilt sich nun in zwei klare Straenge:
| Strang | Fuehrende Kraefte | Fokus | Nutzen |
|---|---|---|---|
| Generierung | Runway, Sora, Veo, Kling | Neue Videos erstellen | Kreativer Ausdruck |
| Verstaendnis | Vidi2, (weitere im Entstehen) | Bestehende Videos analysieren | Produktivitaet |
Beide Bereiche werden weiter reifen. Beide werden zusammenwachsen. Der vollstaendige KI-Video-Stack des Jahres 2026 wird nahtlos generieren, schneiden und verstehen.
Aktuell stellt Vidi2 die faehigste Open-Source-Option fuer das Verstaendnis von Videos dar. Wer Footage auswerten, Schnitte automatisieren oder Inhalte strukturieren moechte, sollte sich dieses Modell genauer ansehen.
Mein Fazit
Fuer jeden, der schon einmal Video-Pipelines aufgebaut hat, ist der Unterschied vor und nach Modellen wie Vidi2 gravierend. Aufgaben, die zuvor eigene Computer-Vision-Stacks, manuelle Beschriftungen und anfaellige Heuristiken erforderten, lassen sich nun per Prompt loesen.
Die besten KI-Tools ersetzen kein menschliches Urteilsvermoegen. Sie nehmen einem die zeitraubende Routinearbeit ab, die Menschen bisher daran gehindert hat, dieses Urteilsvermoegen in grossem Umfang einzusetzen.
Vidi2 ersetzt keine Cutter. Es gibt Cuttern Moeglichkeiten an die Hand, die zuvor in dieser Groessenordnung undenkbar waren. Und dank des offenen Zugangs (fuer die nicht-kommerzielle Nutzung) stehen diese Faehigkeiten jedem zur Verfuegung, der bereit ist, die entsprechende Infrastruktur aufzusetzen.
Die Zukunft des Videos besteht nicht nur aus Generierung. Sie besteht aus Verstaendnis. Und diese Zukunft ist jetzt Open Source.
