ByteDance Vidi2 : l'IA qui comprend la vidéo comme un monteur
ByteDance vient de publier en open source Vidi2, un modèle de 12 milliards de paramètres capable de comprendre le contenu vidéo pour monter automatiquement des heures de rushes en séquences soignées. Il propulse déjà TikTok Smart Split.
Damien9 min read
Auteur IA, vérifications automatiques, rédacteur responsable
Alors que tout le monde se focalise sur la génération vidéo, ByteDance a discrètement résolu un autre défi : permettre à l'IA de comprendre la vidéo comme un monteur chevronné. Vidi2 peut visionner des heures de rushes bruts et en extraire exactement ce qui compte.
Le problème dont personne ne parle
Nous disposons aujourd'hui de générateurs vidéo IA impressionnants. Runway Gen-4.5 domine les classements de qualité. Kling O1 produit un son synchronisé. Mais voici la réalité méconnue de la production vidéo : la majeure partie du temps est consacrée au montage, non à la création.
Un vidéaste de mariage filme 8 heures d'images pour livrer un résumé de 5 minutes. Un créateur de contenu enregistre 45 minutes pour produire un TikTok de 60 secondes. Une entreprise stocke 200 heures de vidéos de formation oubliées dans SharePoint.
La génération vidéo fait les gros titres. La compréhension vidéo accomplit le véritable travail.
Vidi2 comble cet écart. Ce n'est pas un générateur de plus. C'est une IA qui regarde la vidéo, saisit ce qui s'y passe et vous aide à exploiter ce contenu à grande échelle.
Ce que fait réellement Vidi2
ByteDance décrit Vidi2 comme un « grand modèle multimodal pour la compréhension et la création vidéo ». Ce modèle de 12 milliards de paramètres excelle dans plusieurs domaines :
Ancrage spatio-temporel
Montage intelligent
Analyse de contenu
Suivi d'objets
L'innovation technique : l'ancrage spatio-temporel
Auparavant, l'IA vidéo fonctionnait sur deux dimensions séparées : l'espace (ce qui figure dans cette image) ou le temps (quand un événement survient). Vidi2 réunit les deux dans ce que ByteDance nomme « Spatio-Temporal Grounding » (STG), ou ancrage spatio-temporel.
Approche traditionnelle :
- Spatiale : « La voiture se trouve aux coordonnées de pixels (450, 320) »
- Temporelle : « Une voiture apparaît au repère 0:15 »
- Résultat : Des informations disjointes nécessitant une corrélation manuelle
Vidi2 STG :
- Combinée : « La voiture rouge est à (450, 320) à 0:15, se déplace vers (890, 340) à 0:18, sort par la droite à 0:22 »
- Résultat : Une trajectoire d'objet complète dans l'espace et dans le temps
Cette avancée change la donne, car les véritables tâches de montage exigent les deux dimensions. Pour « supprimer la perche micro », il faut savoir où elle apparaît (dimension spatiale) et pendant combien de temps (dimension temporelle). Vidi2 traite cela en une seule requête.
Benchmarks : surpasser les géants
C'est ici que les choses deviennent intéressantes. Sur le benchmark VUE-STG conçu par ByteDance pour évaluer l'ancrage spatio-temporel, Vidi2 surpasse à la fois Gemini 2.0 Flash et GPT-4o, bien qu'il compte moins de paramètres que ses deux rivaux.
Une réserve s'impose : ces benchmarks ont été conçus par ByteDance. Une vérification indépendante sur des bancs d'essai tiers viendrait consolider ces affirmations. Cela dit, le choix d'une architecture spécialisée reste solide.
Les résultats indiquent que la compréhension vidéo tire davantage profit d'une conception spécialisée que d'un simple changement d'échelle. Un modèle conçu dès le départ pour la vidéo peut surpasser des modèles généralistes plus imposants qui traitent la vidéo comme une simple extension de l'image fixe.
Déjà en production : TikTok Smart Split
Ce n'est pas un projet théorique. Vidi2 alimente déjà la fonctionnalité « Smart Split » de TikTok, qui permet de :
- ✓Extraire automatiquement les moments forts de vidéos longues
- ✓Générer des sous-titres synchronisés avec la parole
- ✓Recomposer le cadrage pour différents formats d'affichage
- ✓Identifier les points de coupe optimaux selon le contenu
Des millions de créateurs utilisent Smart Split quotidiennement. Le modèle a fait ses preuves à grande échelle, sur des cas réels.
Open Source : déployez-le vous-même
ByteDance a publié Vidi2 sur GitHub sous licence CC BY-NC 4.0. Son utilisation est donc gratuite pour la recherche, la formation et les projets personnels, tandis qu'un usage commercial nécessite une licence distincte. Voici ce que cela implique :
Pour les développeurs :
- Construire des pipelines d'analyse vidéo sur mesure
- Intégrer la compréhension vidéo dans des outils existants
- Affiner le modèle pour des domaines spécifiques
- Éliminer les coûts d'API à grand volume
Pour les entreprises :
- Traiter les rushes sensibles en local
- Concevoir des flux de montage propriétaires
- Éviter la dépendance envers un fournisseur
- Adapter le modèle aux types de contenus internes
Cette diffusion open source s'inscrit dans la tendance observée avec LTX Video et d'autres laboratoires d'IA chinois : mettre à disposition des modèles performants en accès ouvert, tandis que leurs concurrents occidentaux privilégient des solutions propriétaires.
Applications concrètes
Voici un aperçu de quelques flux de travail rendus possibles par Vidi2 :
Recyclage de contenu
Entrée : Enregistrement de podcast de 2 heures Sortie : 10 extraits courts des meilleurs moments, chacun avec des coupes d'introduction et de fin nettes
Le modèle détecte les passages captivants, repère les points de transition naturels et isole des séquences prêtes à être publiées indépendamment.
Gestion de vidéos de formation
Entrée : 500 heures de formations internes d'entreprise Requête : « Trouver tous les segments expliquant le nouveau flux de travail CRM »
Au lieu de faire défiler la vidéo manuellement ou de s'en remettre à des métadonnées approximatives, Vidi2 visionne et comprend directement le contenu.
Résumés sportifs
Entrée : Enregistrement complet d'un match Sortie : Résumé vidéo regroupant les actions de but, les actions litigieuses et les célébrations
Le modèle interprète le contexte sportif avec assez de finesse pour distinguer les moments marquants du simple mouvement à l'écran.
Analyse de vidéosurveillance
Entrée : 24 heures d'enregistrements de sécurité Requête : « Trouver toutes les personnes entrant par la porte latérale après 18 h »
L'ancrage spatio-temporel fournit des réponses précises, avec les repères temporels exacts et l'emplacement précis dans l'image.
Comparaison avec les modèles génératifs
- Fonctionne à partir de rushes existants
- Économise le temps de montage, non de création
- S'adapte à d'immenses médiathèques vidéo
- Ne réclame aucun prompt créatif
- Immédiatement exploitable en entreprise
- Crée de nouveaux contenus à partir de zéro
- Outil d'expression créative
- Idéal pour le marketing et la publicité
- Progression rapide de la qualité
- Cas d'usage enthousiasmant, mais distinct
Ces technologies ne s'opposent pas. Elles répondent à des problématiques différentes. Un flux vidéo IA complet combine les deux : la génération pour produire de nouveaux contenus, la compréhension pour exploiter l'existant.
La vision d'ensemble
La compréhension vidéo marque le passage de l'IA du statut de « démonstration bluffante » à celui d'« outil du quotidien ». La génération attire les regards. La compréhension fait avancer le travail.
Mesurez ce que cette évolution débloque :
- Chaque entreprise dispose d'archives vidéo inexploitées
- Chaque créateur passe plus de temps à monter qu'à tourner
- Chaque plateforme a besoin d'une meilleure modération et d'un meilleur référencement
- Chaque chercheur possède des enregistrements qu'il ne peut analyser faute de temps
Vidi2 répond à chacun de ces besoins. Sa publication en open source rend ces capacités accessibles à toute équipe disposant de la puissance de calcul requise.
Premiers pas
Le modèle est disponible sur GitHub avec sa documentation et des démonstrations. Prérequis :
- GPU NVIDIA avec au moins 24 Go de VRAM pour le modèle complet
- Versions quantifiées disponibles pour les cartes graphiques plus modestes
- Python 3.10+ avec PyTorch 2.0+
Démarrage rapide :
git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"La documentation est rédigée principalement en anglais, bien que ByteDance soit une entreprise chinoise, ce qui traduit sa volonté de toucher un public international.
Les répercussions pour l'industrie
Le secteur de la vidéo par IA suit désormais deux trajectoires bien distinctes :
| Volet | Acteurs majeurs | Axe prioritaire | Valeur |
|---|---|---|---|
| Génération | Runway, Sora, Veo, Kling | Créer de nouvelles vidéos | Expression créative |
| Compréhension | Vidi2, (nouveaux acteurs) | Analyser des vidéos existantes | Productivité |
Ces deux axes vont mûrir. Ils vont fusionner. La chaîne d'outils vidéo IA de 2026 générera, montera et comprendra les séquences de bout en bout.
Pour l'instant, Vidi2 constitue l'alternative open source la plus performante pour la compréhension vidéo. Que vous ayez des séquences à analyser, du montage à automatiser ou du contenu à structurer, ce modèle mérite votre attention.
Mon point de vue
Pour quiconque a déjà développé des chaînes de traitement vidéo, le contraste avant et après des modèles comme Vidi2 saute aux yeux. Des opérations qui réclamaient des architectures de vision par ordinateur dédiées, des annotations manuelles et des heuristiques fragiles se résolvent désormais par une simple consigne textuelle.
Les meilleurs outils d'IA ne remplacent pas le discernement humain. Ils éliminent les tâches répétitives qui empêchent d'exercer ce discernement à grande échelle.
Vidi2 ne remplace pas les monteurs. Il leur apporte des moyens d'action jusqu'alors impossibles à grande échelle. Et grâce à cet accès ouvert (pour un usage non commercial), ces capacités s'offrent à toute équipe prête à installer l'infrastructure nécessaire.
L'avenir de la vidéo ne se limite pas à la génération. Il réside dans la compréhension. Et cet avenir s'écrit dès aujourd'hui en open source.
