Damien· Autor de IA, revisto por humanosByteDance Vidi2: IA Que Compreende Vídeo Como um Editor
A ByteDance acaba de disponibilizar como código aberto o Vidi2, um modelo de 12B parâmetros que compreende conteúdo de vídeo suficientemente bem para editar automaticamente horas de filmagem em clipes polidos. Já alimenta o TikTok Smart Split.
Pronto para criar os seus próprios vídeos com IA?
Junte-se a milhares de criadores que utilizam Bonega.ai
Enquanto todos se obcecam com a geração de vídeo, a ByteDance resolveu discretamente um problema diferente: fazer a IA compreender vídeo como um editor experiente. O Vidi2 pode assistir horas de filmagem bruta e extrair exatamente o que importa.
O Problema de Que Ninguém Fala
Temos geradores de vídeo por IA incríveis agora. O Runway Gen-4.5 lidera as tabelas de qualidade. O Kling O1 gera áudio sincronizado. Mas aqui está o segredo sujo da produção de vídeo: a maior parte do tempo vai para a edição, não para a criação.
Um videógrafo de casamentos grava 8 horas de filmagem para um vídeo de destaques de 5 minutos. Um criador de conteúdo grava 45 minutos para fazer um TikTok de 60 segundos. Uma equipe empresarial tem 200 horas de filmagens de treinamento enterradas no SharePoint.
A geração de vídeo ganha as manchetes. A compreensão de vídeo faz o trabalho real.
O Vidi2 aborda esta lacuna. Não é mais um gerador. É uma IA que assiste vídeo, compreende o que está acontecendo e ajuda você a trabalhar com esse conteúdo em escala.
O Que o Vidi2 Realmente Faz
A ByteDance descreve o Vidi2 como um "Modelo Multimodal Grande para Compreensão e Criação de Vídeo". O modelo de 12 bilhões de parâmetros se destaca em:
Ancoragem Espaço-Temporal
Encontre qualquer objeto num vídeo e rastreie-o através do tempo. Não apenas "há um gato em 0:32", mas "o gato entra em 0:32, move-se para o sofá em 0:45 e sai do enquadramento em 1:12".
Edição Inteligente
Analise filmagens e sugira cortes baseados no conteúdo. Encontre os melhores momentos, identifique limites de cena, compreenda o ritmo.
Análise de Conteúdo
Descreva o que acontece no vídeo com detalhe suficiente para ser útil. Não "duas pessoas conversando", mas "segmento de entrevista, convidado explicando características do produto, momento de alto envolvimento em 3:45".
Rastreamento de Objetos
Rastreie objetos como "tubos" contínuos através do vídeo, mesmo quando saem e voltam ao enquadramento. Isto permite seleção precisa para efeitos, remoção ou ênfase.
A Inovação Técnica: Ancoragem Espaço-Temporal
A IA de vídeo anterior funcionava em duas dimensões: espaço (o que está neste quadro) ou tempo (quando algo acontece). O Vidi2 combina ambos no que a ByteDance chama de "Ancoragem Espaço-Temporal" (STG).
Abordagem Tradicional:
- Espacial: "O carro está nas coordenadas de pixel (450, 320)"
- Temporal: "Um carro aparece no timestamp 0:15"
- Resultado: Informação desconectada requerendo correlação manual
Vidi2 STG:
- Combinado: "O carro vermelho está em (450, 320) em 0:15, move-se para (890, 340) em 0:18, sai pela direita em 0:22"
- Resultado: Trajetória completa do objeto através do espaço e tempo
Isto importa porque tarefas reais de edição requerem ambas as dimensões. "Remover o microfone boom" precisa saber onde aparece (espacial) e por quanto tempo (temporal). O Vidi2 lida com isto como uma única consulta.
Benchmarks: Vencendo os Gigantes
Aqui é onde fica interessante. No benchmark VUE-STG da ByteDance para ancoragem espaço-temporal, o Vidi2 supera tanto o Gemini 2.0 Flash quanto o GPT-4o, apesar de ter menos parâmetros que ambos.
Uma ressalva: estes benchmarks foram criados pela ByteDance. Verificação independente em benchmarks de terceiros fortaleceria estas afirmações. Dito isto, a abordagem de arquitetura especializada é sólida.
Os resultados dos benchmarks sugerem que a compreensão de vídeo beneficia mais de design especializado do que de escala bruta. Um modelo construído para vídeo desde o início pode superar modelos maiores de propósito geral que tratam vídeo como uma extensão da compreensão de imagem.
Já em Produção: TikTok Smart Split
Isto não é vaporware. O Vidi2 alimenta a funcionalidade "Smart Split" do TikTok, que:
- ✓Extrai automaticamente destaques de vídeos longos
- ✓Gera legendas sincronizadas com a fala
- ✓Reconstrói o layout para diferentes relações de aspecto
- ✓Identifica pontos de corte ideais baseados no conteúdo
Milhões de criadores usam o Smart Split diariamente. O modelo é comprovado em escala, não teórico.
Código Aberto: Execute Você Mesmo
A ByteDance lançou o Vidi2 no GitHub sob uma licença CC BY-NC 4.0. Isso significa gratuito para pesquisa, educação e projetos pessoais, mas uso comercial requer licenciamento separado. As implicações:
Para Desenvolvedores:
- Construa pipelines personalizados de análise de vídeo
- Integre compreensão em ferramentas existentes
- Ajuste fino para domínios específicos
- Sem custos de API em escala
Para Empresas:
- Processe filmagens sensíveis localmente
- Construa fluxos de trabalho proprietários de edição
- Evite bloqueio de fornecedor
- Personalize para tipos de conteúdo interno
O lançamento em código aberto segue um padrão que vimos com LTX Video e outros laboratórios de IA chineses: lançar modelos poderosos abertamente enquanto competidores ocidentais mantêm os seus proprietários.
Aplicações Práticas
Deixe-me passar por alguns fluxos de trabalho reais que o Vidi2 permite:
Reaproveitamento de Conteúdo
Entrada: Gravação de podcast de 2 horas Saída: 10 clipes curtos dos melhores momentos, cada um com cortes adequados de introdução/conclusão
O modelo identifica momentos envolventes, encontra pontos de corte naturais e extrai clipes que funcionam como conteúdo autónomo.
Gestão de Vídeos de Treinamento
Entrada: 500 horas de filmagens de treinamento corporativo Consulta: "Encontre todos os segmentos explicando o novo fluxo de trabalho do CRM"
Em vez de procura manual ou confiar em metadados não confiáveis, o Vidi2 realmente assiste e compreende o conteúdo.
Destaques Desportivos
Entrada: Gravação completa da partida Saída: Vídeo de destaques com todos os momentos de pontuação, lances próximos e celebrações
O modelo compreende contexto desportivo suficientemente bem para identificar momentos significativos, não apenas movimento.
Revisão de Vigilância
Entrada: 24 horas de filmagens de segurança Consulta: "Encontre todas as instâncias de pessoas entrando pela porta lateral depois das 18h"
Ancoragem espaço-temporal significa respostas precisas com timestamps e localizações exatas.
Como Se Compara aos Modelos de Geração
- Funciona com filmagens existentes
- Poupa tempo de edição, não tempo de geração
- Escala para bibliotecas massivas de vídeo
- Não requer prompting criativo
- Prático para empresas imediatamente
- Cria conteúdo novo do nada
- Ferramenta de expressão criativa
- Aplicações de marketing e publicidade
- Qualidade crescendo rapidamente
- Caso de uso excitante mas diferente
Estas não são tecnologias concorrentes. Resolvem problemas diferentes. Um fluxo de trabalho completo de vídeo por IA precisa de ambos: geração para criar conteúdo novo, compreensão para trabalhar com conteúdo existente.
O Panorama Maior
A compreensão de vídeo é onde a IA passa de "demo impressionante" para "ferramenta diária". A geração obtém atenção. A compreensão faz o trabalho.
Considere o que isto permite:
- Todas as empresas têm conteúdo de vídeo preso em arquivos
- Todos os criadores gastam mais tempo editando do que gravando
- Todas as plataformas precisam de melhor moderação e descoberta de conteúdo
- Todos os investigadores têm filmagens que não conseguem analisar eficientemente
O Vidi2 aborda todos estes. O lançamento em código aberto significa que estas capacidades estão agora acessíveis a qualquer um com capacidade computacional suficiente.
Começar
O modelo está disponível no GitHub com documentação e demos. Requisitos:
- GPU NVIDIA com pelo menos 24GB de VRAM para o modelo completo
- Versões quantizadas disponíveis para GPUs menores
- Python 3.10+ com PyTorch 2.0+
Início Rápido:
git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"A documentação está principalmente em inglês apesar da ByteDance ser uma empresa chinesa, refletindo a audiência global alvo.
O Que Isto Significa para a Indústria
O panorama de vídeo por IA agora tem duas pistas distintas:
| Pista | Líderes | Foco | Valor |
|---|---|---|---|
| Geração | Runway, Sora, Veo, Kling | Criar vídeo novo | Expressão criativa |
| Compreensão | Vidi2, (outros emergindo) | Analisar vídeo existente | Produtividade |
Ambas amadurecerão. Ambas se integrarão. A pilha completa de vídeo por IA de 2026 gerará, editará e compreenderá perfeitamente.
Por agora, o Vidi2 representa a opção de código aberto mais capaz para compreensão de vídeo. Se você tem filmagens para analisar, edição para automatizar ou conteúdo para organizar, este é o modelo a explorar.
A Minha Opinião
Passei anos construindo pipelines de processamento de vídeo. O antes e depois com modelos como o Vidi2 é gritante. Tarefas que requeriam pilhas personalizadas de visão computacional, anotação manual e heurísticas frágeis podem agora ser resolvidas com um prompt.
As melhores ferramentas de IA não substituem o julgamento humano. Removem o trabalho tedioso que impede os humanos de aplicar julgamento em escala.
O Vidi2 não substitui editores. Dá aos editores capacidades que eram anteriormente impossíveis em escala. E com acesso aberto (para uso não comercial), estas capacidades estão disponíveis para qualquer um disposto a configurar a infraestrutura.
O futuro do vídeo não é apenas geração. É compreensão. E esse futuro já é código aberto.
Fontes
Desenvolvedor de IA de Lyon que adora transformar conceitos complexos de ML em receitas simples. Quando não está a depurar modelos, encontra-o a pedalar pelo vale do Ródano.
View profile →Artigos relacionados
Continue a explorar com estes artigos relacionados
Helios: O modelo 14B que gera vídeos de IA em tempo real em hardware consumer
Peking University, ByteDance e Canva apresentam Helios, que gera vídeos de IA de um minuto a 19,5 FPS com apenas 6 GB de VRAM, e é totalmente de código aberto.
SkyReels V4: O Primeiro Modelo de IA Que Vê e Ouve ao Mesmo Tempo
O SkyReels V4 da Skywork AI estreia uma arquitetura de difusão de duplo fluxo que co-gera vídeo e áudio sincronizado numa única passagem. Aqui está o que isso significa para os criadores.
Seedance 2.0 chega ao CapCut, e Hollywood não está satisfeito
A ByteDance acaba de lançar o seu polémico modelo de vídeo IA no CapCut, dias após a morte do Sora. Eis por que isto importa e por que Hollywood está a reagir.