ByteDance Vidi2: IA que Compreende Vídeo como um Editor
A ByteDance acaba de lançar em código aberto o Vidi2, um modelo de 12B parâmetros que compreende conteúdo em vídeo suficientemente bem para editar automaticamente horas de gravações em clipes refinados. Já alimenta o TikTok Smart Split.
Damien9 min read
Autor de IA, verificações automáticas, editor responsável
Enquanto todos continuam obcecados pela geração de vídeo, a ByteDance resolveu silenciosamente um problema diferente: fazer com que a IA compreenda vídeo como um editor experiente. O Vidi2 consegue assistir a horas de material bruto e extrair exatamente o que importa.
O Problema de que Ninguém Fala
Temos geradores de vídeo por IA incríveis agora. O Runway Gen-4.5 lidera os rankings de qualidade. O Kling O1 gera áudio sincronizado. Mas há um segredo desconfortável na produção de vídeo: a maior parte do tempo é gasta na edição, não na criação.
Um profissional de vídeo de casamentos grava 8 horas de material para criar um resumo de 5 minutos. Um criador de conteúdo grava 45 minutos para produzir um TikTok de 60 segundos. Uma equipa empresarial tem 200 horas de formações perdidas no SharePoint.
A geração de vídeo ganha os destaques nas notícias. A compreensão de vídeo faz o trabalho pesado.
O Vidi2 resolve precisamente esta lacuna. Não se trata de mais um gerador. É uma IA que assiste ao vídeo, compreende o que está a acontecer e ajuda a trabalhar com esse conteúdo à escala.
O Que o Vidi2 Faz na Prática
A ByteDance descreve o Vidi2 como um "Large Multimodal Model for Video Understanding and Creation" (Grande Modelo Multimodal para Compreensão e Criação de Vídeo). Este modelo de 12 mil milhões de parâmetros destaca-se em:
Spatio-Temporal Grounding
Edição Inteligente
Análise de Conteúdo
Rastreio de Objetos
A Inovação Técnica: Spatio-Temporal Grounding
Os sistemas anteriores de IA para vídeo trabalhavam em duas dimensões isoladas: espaço (o que está neste fotograma) ou tempo (quando acontece algo). O Vidi2 combina ambos no que a ByteDance designa por "Spatio-Temporal Grounding" (STG).
Abordagem Tradicional:
- Espacial: "O carro está nas coordenadas de píxeis (450, 320)"
- Temporal: "Um carro aparece no timestamp 0:15"
- Resultado: Informações desconexas que exigem correlação manual
Vidi2 STG:
- Combinado: "O carro vermelho está em (450, 320) aos 0:15, move-se para (890, 340) aos 0:18 e sai pela direita aos 0:22"
- Resultado: Trajetória completa do objeto no espaço e no tempo
Isto é fundamental porque tarefas reais de edição exigem ambas as dimensões. "Remover o microfone boom" requer saber onde aparece (espacial) e durante quanto tempo (temporal). O Vidi2 processa isto numa única consulta.
Benchmarks: A Superar os Gigantes
É aqui que as coisas se tornam interessantes. No benchmark VUE-STG da ByteDance para spatio-temporal grounding, o Vidi2 supera tanto o Gemini 2.0 Flash como o GPT-4o, apesar de ter menos parâmetros do que ambos.
Uma ressalva: estes benchmarks foram concebidos pela ByteDance. Uma verificação independente em benchmarks de terceiros reforçaria estes resultados. Ainda assim, a aposta numa arquitetura especializada é sólida.
Os resultados dos testes sugerem que a compreensão de vídeo beneficia mais de um design especializado do que de escala bruta. Um modelo construído para vídeo de raiz consegue superar modelos maiores de uso geral que tratam o vídeo como uma mera extensão da compreensão de imagens.
Já em Produção: TikTok Smart Split
Não se trata de vaporware. O Vidi2 alimenta a funcionalidade "Smart Split" do TikTok, que:
- ✓Extrai automaticamente os melhores momentos de vídeos longos
- ✓Gera legendas sincronizadas com a fala
- ✓Reconstrói o enquadramento para diferentes proporções de ecrã
- ✓Identifica pontos de corte ideais com base no conteúdo
Milhões de criadores usam o Smart Split diariamente. O modelo está comprovado em escala real, não apenas na teoria.
Código Aberto: Execute Você Mesmo
A ByteDance disponibilizou o Vidi2 no GitHub sob uma licença CC BY-NC 4.0. Isso significa que é gratuito para investigação, educação e projetos pessoais, mas o uso comercial requer licenciamento separado. As implicações:
Para Desenvolvedores:
- Criar pipelines personalizados de análise de vídeo
- Integrar compreensão em ferramentas existentes
- Fazer fine-tuning para áreas específicas
- Sem custos de API em grande escala
Para Empresas:
- Processar material confidencial localmente
- Criar fluxos de trabalho de edição proprietários
- Evitar dependência de fornecedores externos (vendor lock-in)
- Personalizar para tipos internos de conteúdo
O lançamento em código aberto segue um padrão que já vimos com o LTX Video e outros laboratórios de IA chineses: disponibilizar modelos avançados publicamente enquanto concorrentes ocidentais mantêm os seus proprietários.
Aplicações Práticas
Vejamos alguns fluxos de trabalho reais que o Vidi2 possibilita:
Reaproveitamento de Conteúdo
Entrada: Gravação de podcast de 2 horas Saída: 10 clipes curtos com os melhores momentos, cada um com cortes adequados de abertura e fecho
O modelo identifica momentos cativantes, descobre pontos naturais de corte e extrai excertos que funcionam como conteúdo autónomo.
Gestão de Vídeos de Formação
Entrada: 500 horas de formações empresariais gravadas Consulta: "Encontrar todos os segmentos que explicam o novo fluxo do CRM"
Em vez de avançar manualmente na timeline ou depender de metadados imprecisos, o Vidi2 assiste e compreende de facto o conteúdo.
Resumos Desportivos
Entrada: Gravação completa da partida Saída: Resumo com todos os golos, lances perigosos e celebrações
O modelo compreende o contexto desportivo suficientemente bem para identificar momentos relevantes, e não apenas movimento.
Revisão de Vigilância
Entrada: 24 horas de gravações de segurança Consulta: "Encontrar todas as ocorrências de pessoas a entrar pela porta lateral depois das 18h"
O spatio-temporal grounding traduz-se em respostas precisas, com timestamps e localizações exatas.
Como se Compara com Modelos de Geração
- Trabalha com material existente
- Poupa tempo de edição, não de geração
- Dimensiona para bibliotecas massivas de vídeo
- Não exige prompts criativos
- Prático para empresas de imediato
- Cria novo conteúdo do zero
- Ferramenta de expressão criativa
- Aplicações de marketing e publicidade
- Evolução rápida de qualidade
- Caso de uso entusiasmante, mas diferente
Não são tecnologias concorrentes. Resolvem problemas diferentes. Um fluxo completo de vídeo por IA necessita de ambos: geração para criar novo conteúdo e compreensão para trabalhar com conteúdo já existente.
A Visão Abrangente
A compreensão de vídeo é onde a IA deixa de ser uma "demonstração impressionante" e se torna uma "ferramenta diária". A geração chama a atenção. A compreensão faz o trabalho acontecer.
Considere o que isto viabiliza:
- Todas as empresas têm conteúdos em vídeo retidos em arquivos
- Todos os criadores gastam mais tempo a editar do que a gravar
- Todas as plataformas precisam de melhor moderação e descoberta de conteúdo
- Todos os investigadores têm gravações que não conseguem analisar eficientemente
O Vidi2 responde a todas estas frentes. O lançamento em código aberto significa que estas capacidades estão agora acessíveis a qualquer pessoa com capacidade computacional suficiente.
Primeiros Passos
O modelo está disponível no GitHub com documentação e demonstrações. Requisitos:
- GPU NVIDIA com pelo menos 24GB de VRAM para o modelo completo
- Versões quantizadas disponíveis para GPUs menores
- Python 3.10+ com PyTorch 2.0+
Início Rápido:
git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"A documentação está quase toda em inglês, apesar de a ByteDance ser uma empresa chinesa, refletindo o seu público-alvo global.
O Que Isto Significa para o Setor
O panorama de vídeo por IA divide-se agora em duas frentes distintas:
| Frente | Líderes | Foco | Valor |
|---|---|---|---|
| Geração | Runway, Sora, Veo, Kling | Criar novos vídeos | Expressão criativa |
| Compreensão | Vidi2, (outros a emergir) | Analisar vídeos existentes | Produtividade |
Ambas irão amadurecer. Ambas irão integrar-se. O ecossistema completo de IA em vídeo de 2026 irá gerar, editar e compreender de forma totalmente integrada.
Por agora, o Vidi2 representa a opção em código aberto mais avançada para compreensão de vídeo. Se precisa de analisar material gravado, automatizar edições ou organizar conteúdo, este é o modelo a explorar.
A Minha Análise
Para qualquer pessoa que já tenha construído pipelines de processamento de vídeo, a diferença antes e depois de modelos como o Vidi2 é impressionante. Tarefas que exigiam pilhas complexas de visão computacional, anotação manual e heurísticas frágeis podem agora ser resolvidas com um prompt.
As melhores ferramentas de IA não substituem o julgamento humano. Eliminam o trabalho repetitivo que impede as pessoas de aplicar esse julgamento à escala.
O Vidi2 não substitui editores. Dá aos editores capacidades que antes eram impossíveis em escala. E com acesso aberto (para uso não comercial), estas possibilidades estão ao alcance de qualquer pessoa disposta a preparar a infraestrutura.
O futuro do vídeo não passa apenas pela geração. Passa pela compreensão. E esse futuro está agora em código aberto.
