ByteDance Vidi2: l'IA che comprende i video come un montatore
ByteDance ha appena rilasciato in open source Vidi2, un modello da 12 miliardi di parametri che comprende i contenuti video abbastanza a fondo da montare automaticamente ore di riprese in clip rifinite. Alimenta già TikTok Smart Split.
Damien8 min read
Autore IA, verifiche automatiche, supervisione redazionale
Mentre tutti sono ossessionati dalla generazione video, ByteDance ha risolto silenziosamente un problema diverso: far comprendere i video all'IA come un montatore esperto. Vidi2 può guardare ore di riprese grezze ed estrarre esattamente ciò che conta.
Il problema di cui nessuno parla
Oggi disponiamo di generatori video IA incredibili. Runway Gen-4.5 è in cima alle classifiche di qualità. Kling O1 genera audio sincronizzato. Ma ecco il segreto nascosto della produzione video: la maggior parte del tempo viene impiegata nel montaggio, non nella creazione.
Un videografo di matrimoni registra 8 ore di riprese per un video riassuntivo di 5 minuti. Un content creator registra 45 minuti per realizzare un TikTok di 60 secondi. Un team aziendale ha 200 ore di video di formazione sepolte in SharePoint.
La generazione video finisce sui titoli dei giornali. La comprensione video svolge il lavoro concreto.
Vidi2 colma questo divario. Non è l'ennesimo generatore. È un'IA che guarda i video, comprende ciò che accade e ti aiuta a lavorare con quei contenuti su larga scala.
Cosa fa effettivamente Vidi2
ByteDance descrive Vidi2 come un "Large Multimodal Model for Video Understanding and Creation". Il modello da 12 miliardi di parametri eccelle in:
Spatio-Temporal Grounding
Montaggio intelligente
Analisi dei contenuti
Tracciamento degli oggetti
L'innovazione tecnica: Spatio-Temporal Grounding
Le precedenti IA video lavoravano su due dimensioni separate: lo spazio (cosa c'è in questo fotogramma) o il tempo (quando accade qualcosa). Vidi2 combina entrambi in quello che ByteDance definisce "Spatio-Temporal Grounding" (STG).
Approccio tradizionale:
- Spaziale: "L'auto si trova alle coordinate pixel (450, 320)"
- Temporale: "Un'auto appare al timestamp 0:15"
- Risultato: Informazioni scollegate che richiedono una correlazione manuale
Vidi2 STG:
- Combinato: "L'auto rossa è a (450, 320) a 0:15, si sposta a (890, 340) a 0:18, esce a destra a 0:22"
- Risultato: Traiettoria completa dell'oggetto attraverso spazio e tempo
Questo è fondamentale perché i compiti di montaggio reali richiedono entrambe le dimensioni. "Rimuovere il microfono a giraffa" richiede di sapere dove appare (spaziale) e per quanto tempo (temporale). Vidi2 gestisce tutto questo come una singola richiesta.
Benchmark: superare i giganti
Ed è qui che le cose si fanno interessanti. Sul benchmark VUE-STG di ByteDance per lo spatio-temporal grounding, Vidi2 supera sia Gemini 2.0 Flash che GPT-4o, nonostante abbia meno parametri di entrambi.
Un avvertimento: questi benchmark sono stati creati da ByteDance. Una verifica indipendente su benchmark di terze parti rafforzerebbe queste affermazioni. Detto questo, l'approccio dell'architettura specializzata è solido.
I risultati dei benchmark suggeriscono che la comprensione video trae più vantaggio da un'architettura specializzata che dalla semplice dimensione del modello. Un modello progettato per il video fin dalle fondamenta può superare modelli generici più grandi che trattano il video come una semplice estensione dell'elaborazione delle immagini.
Già in produzione: TikTok Smart Split
Non si tratta di vaporware. Vidi2 alimenta la funzione "Smart Split" di TikTok, che:
- ✓Estrae automaticamente i momenti salienti dai video lunghi
- ✓Genera sottotitoli sincronizzati con il parlato
- ✓Ricostruisce il layout per diversi formati d'aspetto
- ✓Identifica i punti di taglio ottimali in base al contenuto
Milioni di creator utilizzano Smart Split quotidianamente. Il modello è collaudato su larga scala, non solo in teoria.
Open source: eseguilo tu stesso
ByteDance ha rilasciato Vidi2 su GitHub con licenza CC BY-NC 4.0. Ciò significa che è gratuito per ricerca, istruzione e progetti personali, ma l'uso commerciale richiede una licenza separata. Le implicazioni:
Per gli sviluppatori:
- Costruire pipeline personalizzate di analisi video
- Integrare la comprensione negli strumenti esistenti
- Eseguire il fine-tuning per domini specifici
- Nessun costo per API su larga scala
Per le aziende:
- Elaborare riprese sensibili in locale
- Creare flussi di lavoro di montaggio proprietari
- Evitare il vendor lock-in
- Personalizzare per tipologie di contenuti interni
Il rilascio open source segue un modello già visto con LTX Video e altri laboratori di IA cinesi: rilasciare potenti modelli apertamente mentre i concorrenti occidentali mantengono i propri proprietari.
Applicazioni pratiche
Ecco alcuni flussi di lavoro reali resi possibili da Vidi2:
Riadattamento dei contenuti
Input: Registrazione di un podcast di 2 ore Output: 10 brevi clip con i momenti migliori, ciascuna con tagli di introduzione e conclusione appropriati
Il modello individua i momenti più coinvolgenti, trova punti di taglio naturali ed estrae clip efficaci come contenuti autonomi.
Gestione dei video di formazione
Input: 500 ore di video di formazione aziendale Query: "Trova tutti i segmenti in cui viene spiegato il nuovo flusso di lavoro del CRM"
Invece di scorrere manualmente i video o affidarsi a metadati poco affidabili, Vidi2 guarda e comprende effettivamente il contenuto.
Momenti salienti sportivi
Input: Registrazione completa della partita Output: Sintesi con tutti i gol o punti segnati, le azioni decisive e le esultanze
Il modello comprende il contesto sportivo abbastanza bene da identificare i momenti significativi, non solo il movimento.
Revisione della videosorveglianza
Input: 24 ore di riprese di sicurezza Query: "Trova tutte le persone che entrano dalla porta laterale dopo le 18:00"
Lo spatio-temporal grounding garantisce risposte precise con timestamp e posizioni esatte.
Il confronto con i modelli di generazione
- Funziona con riprese esistenti
- Fa risparmiare tempo nel montaggio, non nella generazione
- Scala su enormi librerie video
- Non richiede prompt creativi
- Subito pratico per le aziende
- Crea nuovi contenuti dal nulla
- Strumento di espressione creativa
- Applicazioni per marketing e pubblicità
- Qualità in rapida crescita
- Caso d'uso entusiasmante ma diverso
Queste non sono tecnologie in competizione. Risolvono problemi diversi. Un flusso di lavoro video IA completo ha bisogno di entrambe: generazione per creare nuovi contenuti, comprensione per lavorare con i contenuti esistenti.
Il quadro generale
La comprensione video è il punto in cui l'IA passa dall'essere una "demo impressionante" a uno "strumento quotidiano". La generazione attira l'attenzione. La comprensione porta a termine il lavoro.
Pensa a ciò che questo rende possibile:
- Ogni azienda ha contenuti video bloccati negli archivi
- Ogni creator passa più tempo a montare che a registrare
- Ogni piattaforma necessita di una migliore moderazione e scoperta dei contenuti
- Ogni ricercatore possiede riprese che non riesce ad analizzare in modo efficiente
Vidi2 affronta tutte queste esigenze. Il rilascio open source significa che queste capacità sono ora accessibili a chiunque disponga di risorse di calcolo sufficienti.
Per iniziare
Il modello è disponibile su GitHub con documentazione e demo. Requisiti:
- GPU NVIDIA con almeno 24GB di VRAM per il modello completo
- Versioni quantizzate disponibili per GPU più piccole
- Python 3.10+ con PyTorch 2.0+
Guida rapida:
git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"La documentazione è principalmente in inglese, nonostante ByteDance sia un'azienda cinese, a testimonianza del pubblico di riferimento globale.
Cosa significa questo per il settore
Il panorama dei video IA si sviluppa ora su due percorsi distinti:
| Percorso | Leader | Obiettivo | Valore |
|---|---|---|---|
| Generazione | Runway, Sora, Veo, Kling | Creare nuovi video | Espressione creativa |
| Comprensione | Vidi2, (altri emergenti) | Analizzare video esistenti | Produttività |
Entrambi matureranno. Entrambi si integreranno. Lo stack video IA completo del 2026 genererà, monterà e comprenderà i video in modo integrato.
Per ora, Vidi2 rappresenta l'opzione open source più avanzata per la comprensione video. Se hai riprese da analizzare, processi di montaggio da automatizzare o contenuti da organizzare, questo è il modello da esplorare.
La mia opinione
Per chiunque abbia creato pipeline di elaborazione video, il prima e il dopo con modelli come Vidi2 è netto. Attività che richiedevano stack di computer vision personalizzati, annotazioni manuali ed euristiche fragili possono ora essere risolte con un prompt.
I migliori strumenti di IA non sostituiscono il giudizio umano. Eliminano il lavoro noioso che impedisce alle persone di applicare tale giudizio su larga scala.
Vidi2 non sostituisce i montatori. Offre loro capacità che in precedenza erano impossibili su larga scala. E grazie all'accesso aperto (per uso non commerciale), queste funzionalità sono a disposizione di chiunque sia disposto a configurare l'infrastruttura necessaria.
Il futuro del video non riguarda solo la generazione. Riguarda la comprensione. E quel futuro è ora open source.
