ByteDance Vidi2: ИИ, който разбира видео като редактор

Проблемът, за който никой не говори

Имаме невероятни ИИ видео генератори сега. Runway Gen-4.5 е начело по качество. Kling O1 генерира синхронизиран звук. Но ето мръсната тайна на видео продукцията: повечето време отива за редактиране, не за създаване.

Сватбен видеограф снима 8 часа за 5-минутен сбор от най-доброто. Създател на съдържание записва 45 минути, за да направи 60-секунден TikTok. Екип в компания има 200 часа обучителен материал, заровен в SharePoint.

Vidi2 запълва тази празнина. Не е поредният генератор. Това е ИИ, който гледа видео, разбира какво се случва и ти помага да работиш с това съдържание в мащаб.

Какво всъщност прави Vidi2

ByteDance описва Vidi2 като "голям мултимодален модел за разбиране и създаване на видео." Моделът с 12 милиарда параметъра се откроява в:

Техническата иновация: пространствено-времево определяне

Предишните видео ИИ работеха в два измерения: пространство (какво е в този кадър) или време (кога се случва нещо). Vidi2 комбинира и двете в това, което ByteDance нарича "пространствено-времево определяне" (STG).

Това има значение, защото реалните задачи за редактиране изискват и двата измерения. "Премахни микрофона" трябва да знае къде се появява (пространствено) и колко дълго (временно). Vidi2 се справя с това като единна заявка.

Тестове: надминаване на гигантите

Тук става интересно. На теста VUE-STG на ByteDance за пространствено-времево определяне, Vidi2 изпреварва и Gemini 2.0 Flash, и GPT-4o, въпреки че има по-малко параметри от двата.

Резултатите от тестовете показват, че разбирането на видео се възползва повече от специализиран дизайн, отколкото от голям мащаб. Модел, построен за видео от основите, може да надмине по-големи общи модели, които третират видеото като разширение на разбирането на изображения.

Вече в продукция: TikTok Smart Split

Това не е празна дума. Vidi2 захранва функцията "Smart Split" на TikTok, която:

• ✓Автоматично извлича акценти от дълги видеа
• ✓Генерира субтитри, синхронизирани с речта
• ✓Реконструира оформлението за различни съотношения на страни
• ✓Определя оптимални точки за рязане според съдържанието

Милиони създатели използват Smart Split ежедневно. Моделът е доказан в мащаб, не теоретичен.

Отворен код: пусни го сам

ByteDance пусна Vidi2 в GitHub под лиценз CC BY-NC 4.0. Това означава безплатно за изследвания, образование и лични проекти, но търговската употреба изисква отделен лиценз. Последиците:

Пускането с отворен код следва шаблон, който видяхме с LTX Video и други китайски ИИ лаборатории: пускане на мощни модели открито, докато западните конкуренти пазят своите частни.

Практически приложения

Нека разгледам някои реални работни процеси, които Vidi2 дава:

Препакетиране на съдържание

Вход: 2-часов запис на подкаст Изход: 10 кратки клипа от най-добрите моменти, всеки с правилно начало/край

Моделът определя ангажиращи моменти, намира естествени точки за рязане и извлича клипове, които работят като самостоятелно съдържание.

Управление на обучителни видеа

Вход: 500 часа корпоративен обучителен материал Заявка: "Намери всички сегменти, обясняващи новия CRM работен процес"

Вместо ръчно превъртане или разчитане на ненадеждни метаданни, Vidi2 наистина гледа и разбира съдържанието.

Как се сравнява с моделите за генериране

Това не са конкуриращи се технологии. Те решават различни проблеми. Пълен ИИ видео работен процес се нуждае и от двете: генериране за създаване на ново съдържание, разбиране за работа със съществуващо съдържание.

Спортни акценти

Вход: Запис на цял мач Изход: Сбор с всички голове, близки моменти и празненства

Моделът разбира спортния контекст достатъчно добре, за да определи значими моменти, не просто движение.

Преглед на наблюдение

Вход: 24 часа записи от охрана Заявка: "Намери всички случаи на хора, влизащи през страничната врата след 18:00"

Пространствено-временото определяне означава прецизни отговори с точни таймстампове и локации.

По-голямата картина

Помисли какво това дава:

• Всяка компания има видео съдържание, заключено в архиви
• Всеки създател прекарва повече време в редактиране, отколкото в снимане
• Всяка платформа се нуждае от по-добра модерация и откриване на съдържание
• Всеки изследовател има материал, който не може ефективно да анализира

Vidi2 решава всичко това. Пускането с отворен код означава, че тези възможности вече са достъпни за всеки с достатъчно изчислителна мощ.

Започване

Моделът е наличен в GitHub с документация и демота. Изисквания:

• NVIDIA GPU с поне 24GB VRAM за пълния модел
• Квантовани версии налични за по-малки GPU
• Python 3.10+ с PyTorch 2.0+

git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"

Документацията е основно на английски, въпреки че ByteDance е китайска компания, отразявайки глобалната целева аудитория.

Какво означава това за индустрията

Пейзажът на ИИ видео сега има две различни направления:

И двете ще узреят. И двете ще се интегрират. Пълният ИИ видео стек от 2026 ще генерира, редактира и разбира безпроблемно.

Засега Vidi2 представлява най-способният отворен вариант за разбиране на видео. Ако имаш материал за анализ, редактиране за автоматизиране или съдържание за организиране, това е моделът за изследване.

Моето мнение

Прекарах години в изграждане на конвейери за видео обработка. Разликата преди и след с модели като Vidi2 е рязка. Задачи, които изискваха персонализирани стекове за компютърно зрение, ръчна анотация и чупливи евристики, сега могат да се решат с подсказка.

Vidi2 не заменя редакторите. Дава на редакторите възможности, които преди бяха невъзможни в мащаб. И с отворен достъп (за некомерсиална употреба), тези възможности са на разположение на всеки, готов да настрои инфраструктурата.

Бъдещето на видеото не е само генериране. То е разбиране. И това бъдеще сега е отворен код.

Източници

• ByteDance Vidi2 GitHub хранилище
• Vidi2 изследователска статия (arXiv)
• ByteDance пуска Vidi2 модел с отворен код (WinBuzzer)