ByteDance Vidi2: IA que entiende el video como un editor
ByteDance acaba de publicar en código abierto Vidi2, un modelo de 12B parámetros que comprende el contenido de video lo suficientemente bien como para editar automáticamente horas de metraje en clips pulidos. Ya impulsa TikTok Smart Split.
Damien9 min read
Autor de IA, revisiones automáticas, edición responsable
Mientras todo el mundo se obsesiona con la generación de video, ByteDance resolvió discretamente un problema diferente: lograr que la IA comprenda el video como un editor experimentado. Vidi2 puede ver horas de metraje en bruto y extraer exactamente lo que importa.
El problema del que nadie habla
Ahora contamos con generadores de video con IA increíbles. Runway Gen-4.5 lidera las listas de calidad. Kling O1 genera audio sincronizado. Pero este es el secreto peor guardado de la producción de video: la mayor parte del tiempo se dedica a la edición, no a la creación.
Un videógrafo de bodas graba 8 horas de metraje para un resumen de 5 minutos. Un creador de contenido graba 45 minutos para hacer un TikTok de 60 segundos. Un equipo empresarial tiene 200 horas de metraje de capacitación enterradas en SharePoint.
La generación de video acapara los titulares. La comprensión de video realiza el trabajo real.
Vidi2 aborda esta brecha. No es otro generador más. Es una IA que mira video, comprende lo que está sucediendo y te ayuda a trabajar con ese contenido a escala.
Qué hace realmente Vidi2
ByteDance describe Vidi2 como un "Modelo Multimodal Grande para la Comprensión y Creación de Video". El modelo de 12 mil millones de parámetros destaca en:
Localización espacio-temporal
Edición inteligente
Análisis de contenido
Seguimiento de objetos
La innovación técnica: Localización espacio-temporal
La IA de video anterior funcionaba en dos dimensiones: espacio (qué hay en este fotograma) o tiempo (cuándo ocurre algo). Vidi2 combina ambos en lo que ByteDance denomina "Spatio-Temporal Grounding" (STG).
Enfoque tradicional:
- Espacial: "El coche está en las coordenadas de píxeles (450, 320)"
- Temporal: "Un coche aparece en la marca de tiempo 0:15"
- Resultado: Información desconectada que requiere correlación manual
Vidi2 STG:
- Combinado: "El coche rojo está en (450, 320) en 0:15, se mueve a (890, 340) en 0:18, sale por la derecha en 0:22"
- Resultado: Trayectoria completa del objeto a través del espacio y el tiempo
Esto es importante porque las tareas de edición reales requieren ambas dimensiones. "Eliminar el micrófono de jirafa" necesita saber dónde aparece (espacial) y durante cuánto tiempo (temporal). Vidi2 maneja esto como una sola consulta.
Benchmarks: Superando a los gigantes
Aquí es donde se pone interesante. En el benchmark VUE-STG de ByteDance para localización espacio-temporal, Vidi2 supera tanto a Gemini 2.0 Flash como a GPT-4o, a pesar de tener menos parámetros que ambos.
Una advertencia: estos benchmarks fueron creados por ByteDance. Una verificación independiente en benchmarks de terceros reforzaría estas afirmaciones. Dicho esto, el enfoque de arquitectura especializada es sólido.
Los resultados de los benchmarks sugieren que la comprensión de video se beneficia más de un diseño especializado que de la escala bruta. Un modelo diseñado para video desde sus cimientos puede superar a modelos de propósito general más grandes que tratan el video como una simple extensión de la comprensión de imágenes.
Ya en producción: TikTok Smart Split
Esto no es humo. Vidi2 impulsa la función "Smart Split" de TikTok, que:
- ✓Extrae automáticamente los momentos destacados de videos largos
- ✓Genera subtítulos sincronizados con la voz
- ✓Reconstruye el diseño para diferentes relaciones de aspecto
- ✓Identifica puntos de corte óptimos basados en el contenido
Millones de creadores utilizan Smart Split a diario. El modelo está probado a escala, no es teórico.
Código abierto: Ejecútalo tú mismo
ByteDance lanzó Vidi2 en GitHub bajo una licencia CC BY-NC 4.0. Eso significa que es gratuito para investigación, educación y proyectos personales, pero el uso comercial requiere licencias separadas. Las implicaciones:
Para desarrolladores:
- Crear canalizaciones personalizadas de análisis de video
- Integrar comprensión en herramientas existentes
- Ajustar con fine-tuning para dominios específicos
- Sin costes de API a escala
Para empresas:
- Procesar metraje confidencial localmente
- Crear flujos de trabajo de edición propietarios
- Evitar la dependencia de proveedores
- Personalizar para tipos de contenido internos
El lanzamiento en código abierto sigue un patrón que hemos visto con LTX Video y otros laboratorios de IA chinos: publicar modelos potentes de forma abierta mientras los competidores occidentales mantienen los suyos como propietarios.
Aplicaciones prácticas
Repasemos algunos flujos de trabajo reales que Vidi2 hace posibles:
Reutilización de contenido
Entrada: Grabación de podcast de 2 horas Salida: 10 clips cortos de los mejores momentos, cada uno con cortes de introducción y cierre adecuados
El modelo identifica momentos atractivos, encuentra puntos de corte naturales y extrae clips que funcionan como contenido independiente.
Gestión de videos de capacitación
Entrada: 500 horas de metraje de capacitación corporativa Consulta: "Encontrar todos los segmentos que expliquen el nuevo flujo de trabajo de CRM"
En lugar de desplazarse manualmente por la línea de tiempo o depender de metadatos poco fiables, Vidi2 realmente mira y comprende el contenido.
Momentos destacados deportivos
Entrada: Grabación completa del partido Salida: Resumen de jugadas destacadas con todos los goles, jugadas ajustadas y celebraciones
El modelo comprende el contexto deportivo lo suficientemente bien como para identificar momentos significativos, no solo movimiento.
Revisión de vigilancia
Entrada: 24 horas de metraje de seguridad Consulta: "Encontrar todos los casos de personas que entran por la puerta lateral después de las 6 PM"
La localización espacio-temporal significa respuestas precisas con marcas de tiempo y ubicaciones exactas.
Cómo se compara con los modelos de generación
- Funciona con metraje existente
- Ahorra tiempo de edición, no tiempo de generación
- Escala a bibliotecas de video masivas
- No requiere prompts creativos
- Práctico para empresas de inmediato
- Crea contenido nuevo desde cero
- Herramienta de expresión creativa
- Aplicaciones en marketing y publicidad
- Calidad en rápido crecimiento
- Caso de uso emocionante pero diferente
Estas no son tecnologías en competencia. Resuelven problemas diferentes. Un flujo de trabajo completo de video con IA necesita ambos: generación para crear nuevo contenido, comprensión para trabajar con el contenido existente.
El panorama general
La comprensión de video es donde la IA pasa de ser una "demostración impresionante" a una "herramienta diaria". La generación llama la atención. La comprensión hace el trabajo.
Considera lo que esto hace posible:
- Cada empresa tiene contenido de video atrapado en archivos
- Cada creador pasa más tiempo editando que grabando
- Cada plataforma necesita mejor moderación y descubrimiento de contenido
- Cada investigador tiene metraje que no puede analizar de manera eficiente
Vidi2 aborda todo esto. El lanzamiento en código abierto significa que estas capacidades ahora son accesibles para cualquiera que disponga de la capacidad de cómputo suficiente.
Primeros pasos
El modelo está disponible en GitHub con documentación y demostraciones. Requisitos:
- GPU NVIDIA con al menos 24GB de VRAM para el modelo completo
- Versiones cuantizadas disponibles para GPU más pequeñas
- Python 3.10+ con PyTorch 2.0+
Inicio rápido:
git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"La documentación está principalmente en inglés a pesar de que ByteDance es una empresa china, lo que refleja el público objetivo global.
Qué significa esto para la industria
El panorama del video con IA tiene ahora dos vertientes bien diferenciadas:
| Vertiente | Líderes | Enfoque | Valor |
|---|---|---|---|
| Generación | Runway, Sora, Veo, Kling | Crear nuevo video | Expresión creativa |
| Comprensión | Vidi2, (otros emergentes) | Analizar video existente | Productividad |
Ambas madurarán. Ambas se integrarán. El conjunto completo de video con IA de 2026 generará, editará y comprenderá sin fricciones.
Por ahora, Vidi2 representa la opción de código abierto más capaz para la comprensión de video. Si tienes metraje para analizar, edición que automatizar o contenido que organizar, este es el modelo que debes explorar.
Mi opinión
Para cualquiera que haya creado canalizaciones de procesamiento de video, el antes y el después con modelos como Vidi2 es sorprendente. Las tareas que requerían pilas personalizadas de visión por computador, anotación manual y heurísticas frágiles ahora se pueden resolver con un prompt.
Las mejores herramientas de IA no sustituyen el criterio humano. Eliminan el trabajo tedioso que impide a las personas aplicar su criterio a escala.
Vidi2 no sustituye a los editores. Otorga a los editores capacidades que antes eran imposibles a escala. Y con el acceso abierto (para uso no comercial), estas capacidades están disponibles para cualquiera que esté dispuesto a configurar la infraestructura.
El futuro del video no se limita a la generación. Consiste en la comprensión. Y ese futuro es ahora de código abierto.
