ByteDance Vidi2: Videoyu Bir Editör Gibi Anlayan Yapay Zeka

Kimsenin Bahsetmediği Sorun

Artık inanılmaz yapay zeka video üreticilerine sahibiz. Runway Gen-4.5 kalite sıralamalarında zirvede yer alıyor. Kling O1 senkronize ses üretiyor. Ancak video prodüksiyonunun açık bir gerçeği var: Zamanın çoğu içerik oluşturmaya değil, kurgu ve düzenlemeye gidiyor.

Bir düğün kameramanı 5 dakikalık bir özet video için 8 saatlik çekim yapar. Bir içerik üreticisi 60 saniyelik bir TikTok videosu hazırlamak için 45 dakika kayıt alır. Kurumsal bir ekibin SharePoint derinliklerine gömülmüş 200 saatlik eğitim videosu bulunur.

Vidi2 bu boşluğu hedefliyor. Sıradan bir üretici model değil. Videoyu izleyen, neler olduğunu kavrayan ve bu içerikle büyük ölçekte çalışmanıza yardımcı olan bir yapay zeka.

Vidi2 Gerçekte Ne Yapıyor?

ByteDance, Vidi2'yi "Video Anlama ve Oluşturma için Büyük Çok Modlu Model" olarak tanımlıyor. 12 milyar parametreli bu model şu alanlarda öne çıkıyor:

Teknik Yenilik: Uzamsal-Zamansal Konumlandırma

Önceki video yapay zekaları iki boyutta çalışıyordu: Uzam (bu karede ne var) veya zaman (bir şey ne zaman gerçekleşiyor). Vidi2, her ikisini ByteDance'in "Uzamsal-Zamansal Konumlandırma" (Spatio-Temporal Grounding - STG) adını verdiği yapıda birleştiriyor.

Bu durum önemlidir çünkü gerçek kurgu işleri her iki boyutu da gerektirir. "Boom mikrofonunu kaldır" komutu için mikrofonun nerede göründüğünü (uzamsal) ve ne kadar süre kaldığını (zamansal) bilmek gerekir. Vidi2 bunu tek bir sorguyla çözer.

Kıyaslama Testleri: Devleri Geride Bırakmak

İşlerin ilginçleştiği nokta burası. ByteDance'in uzamsal-zamansal konumlandırma için geliştirdiği VUE-STG testinde Vidi2, her ikisinden de daha az parametreye sahip olmasına rağmen hem Gemini 2.0 Flash'ı hem de GPT-4o'yu geride bırakıyor.

Test sonuçları, video anlamanın ham ölçekten ziyade özelleşmiş tasarımdan daha çok fayda sağladığını gösteriyor. Sıfırdan video için geliştirilmiş bir model, videoyu yalnızca görsel anlamanın bir uzantısı olarak ele alan daha büyük genel amaçlı modellerden daha iyi performans gösterebiliyor.

Halihazırda Yayında: TikTok Smart Split

Bu proje bir vaatten ibaret değil. Vidi2, TikTok'un "Smart Split" özelliğine güç veriyor:

• ✓Uzun videolardan otomatik olarak en can alıcı noktaları çıkarır
• ✓Konuşmayla senkronize altyazılar üretir
• ✓Farklı en-boy oranları için yerleşimi yeniden yapılandırır
• ✓İçeriğe göre en uygun kesme noktalarını belirler

Milyonlarca içerik üreticisi her gün Smart Split kullanıyor. Model teorik değil, büyük ölçekte kanıtlanmış durumda.

Açık Kaynak: Kendiniz Çalıştırın

ByteDance, Vidi2'yi GitHub üzerinde CC BY-NC 4.0 lisansıyla yayınladı. Bu durum araştırma, eğitim ve kişisel projeler için ücretsiz olduğu, ancak ticari kullanımın ayrı bir lisans gerektirdiği anlamına geliyor. Getirdiği imkanlar:

Açık kaynaklı yayınlama, LTX Video ve diğer Çinli yapay zeka laboratuvarlarında gördüğümüz bir eğilimi sürdürüyor: Batılı rakipler modellerini kapalı tutarken güçlü modelleri açıkça paylaşmak.

Pratik Uygulamalar

Vidi2'nin mümkün kıldığı bazı gerçek iş akışlarını inceleyelim:

İçeriği Yeniden Uyarlama

Girdi: 2 saatlik podcast kaydı Çıktı: En iyi anlardan oluşan, her biri uygun giriş/çıkış kesimlerine sahip 10 kısa klip

Model etkileşimi yüksek anları tespit eder, doğal kesme noktalarını bulur ve bağımsız içerik olarak çalışabilecek klipleri ayıklar.

Eğitim Videosu Yönetimi

Girdi: 500 saatlik kurumsal eğitim videosu Sorgu: "Yeni CRM iş akışını açıklayan tüm bölümleri bul"

Manuel tarama yapmak ya da güvenilmez meta verilere güvenmek yerine, Vidi2 içeriği gerçekten izler ve anlar.

Spor Karşılaşması Özetleri

Girdi: Tam maç kaydı Çıktı: Tüm gol anlarını, kritik pozisyonları ve sevinçleri içeren özet video

Model yalnızca hareketi değil, anlamlı anları tespit edebilecek kadar spor bağlamını kavrar.

Güvenlik Kamerası İncelemesi

Girdi: 24 saatlik güvenlik kamerası kaydı Sorgu: "Saat 18:00'den sonra yan kapıdan giren kişilerin tüm görüntülerini bul"

Uzamsal-zamansal konumlandırma, kesin zaman damgaları ve konumlarla net yanıtlar anlamına gelir.

Üretim Modelleriyle Karşılaştırması

Bunlar birbirine rakip teknolojiler değildir. Farklı sorunları çözerler. Eksiksiz bir yapay zeka video iş akışı her ikisine de ihtiyaç duyar: Yeni içerik üretmek için üretim modellerine, mevcut içerikle çalışmak içinse anlama modellerine.

Büyük Resim

Bunun nelere olanak tanıdığını düşünün:

• Her kurumun arşivlerde kilitli kalmış video içerikleri var
• Her içerik üreticisi çekim yapmaktan çok kurguya zaman harcıyor
• Her platformun daha iyi içerik denetimine ve keşfine ihtiyacı var
• Her araştırmacının verimli bir şekilde analiz edemediği kayıtları bulunuyor

Vidi2 tüm bunlara yanıt veriyor. Açık kaynaklı dağıtım, bu yeteneklerin yeterli bilgi işlem gücüne sahip herkes için artık erişilebilir olduğu anlamına geliyor.

Başlarken

Model, dokümantasyonu ve demolarıyla birlikte GitHub'da mevcuttur. Gereksinimler:

• Tam model için en az 24GB VRAM'e sahip NVIDIA GPU
• Daha küçük GPU'lar için nicelenmiş (quantized) sürümler
• PyTorch 2.0+ ile Python 3.10+

git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"

Dokümantasyon, ByteDance'in bir Çin şirketi olmasına rağmen küresel hedef kitleyi yansıtacak şekilde öncelikle İngilizce olarak hazırlanmıştır.

Bu Gelişme Sektör İçin Ne Anlama Geliyor?

Yapay zeka video alanı artık iki belirgin kulvara sahip:

Her iki kulvar da olgunlaşacak. İkisi de birbiriyle bütünleşecek. 2026'nın eksiksiz yapay zeka video altyapısı sorunsuz bir şekilde üretecek, kurgulayacak ve anlayacak.

Şimdilik Vidi2, video anlama konusunda en yetenekli açık kaynaklı seçeneği temsil ediyor. Analiz edilecek görüntüleriniz, otomatikleştirilecek kurgularınız veya organize edilecek içerikleriniz varsa incelenmesi gereken model budur.

Kişisel Değerlendirmem

Video işleme sistemleri kurmuş olan herkes için Vidi2 gibi modellerden önceki ve sonraki durum arasındaki fark çok açıktır. Eskiden özel bilgisayarlı görü altyapıları, manuel etiketleme ve kırılgan sezgisel yöntemler gerektiren görevler artık tek bir istemle çözülebiliyor.

Vidi2 kurgucuların yerini almıyor. Kurguculara daha önce büyük ölçekte imkansız olan yetenekler kazandırıyor. Ticari olmayan kullanım için açık erişim sayesinde bu yetenekler, gerekli altyapıyı kurmak isteyen herkesin kullanımına açık.

Videonun geleceği yalnızca üretimden ibaret değil. İşin özü anlamakta yatıyor. Ve bu gelecek artık açık kaynak.

Kaynaklar

• ByteDance Vidi2 GitHub Deposu
• Vidi2 Araştırma Makalesi (arXiv)
• ByteDance, Vidi2 Açık Kaynak Yapay Zeka Modelini Yayınladı (WinBuzzer)