ByteDance Vidi2: 編集者のように動画を理解するAI

誰も語らない本当の課題

現在、素晴らしいAI動画生成モデルが数多く登場しています。Runway Gen-4.5はクオリティの指標で首位を獲得し、Kling O1は同期されたオーディオを生成します。しかし、映像制作の現場には知られざる現実があります。それは、大半の時間が生成ではなく編集に費やされているということです。

結婚式のビデオグラファーは、5分のハイライトリールを作るために8時間の映像を撮影します。コンテンツクリエイターは、60秒のTikTok動画のために45分間カメラを回します。エンタープライズ企業では、200時間ものトレーニング動画がSharePointの奥深くに眠っています。

Vidi2はこのギャップを埋める存在です。単なる生成モデルではありません。動画を視聴し、何が起きているかを把握し、そのコンテンツを大規模に扱う作業を支援するAIです。

Vidi2が実際にできること

ByteDanceはVidi2を「動画理解と制作のための大規模マルチモーダルモデル（Large Multimodal Model for Video Understanding and Creation）」と説明しています。12Bパラメータのこのモデルは、以下の領域で優れた性能を発揮します:

技術的イノベーション: Spatio-Temporal Grounding

これまでの動画AIは、空間（このフレームに何が写っているか）または時間（何かがいつ起きたか）のどちらか2次元で処理していました。Vidi2はその両方を組み合わせ、ByteDanceが「Spatio-Temporal Grounding（STG）」と呼ぶアプローチを採用しています。

実際の編集作業では両方の次元が必須となるため、この仕組みは極めて重要です。「ブームマイクを除去する」には、マイクがどこに現れ（空間）、それがどれくらいの時間続くか（時間）を把握する必要があります。Vidi2はこれを単一のクエリで処理します。

ベンチマーク: 巨大モデルを凌駕する性能

ここからが興味深い点です。ByteDanceのSpatio-Temporal Grounding向けベンチマーク「VUE-STG」において、Vidi2はGemini 2.0 FlashとGPT-4oの両方を上回るスコアを記録しました。パラメータ数はそのどちらよりも少ないにもかかわらずです。

このベンチマーク結果は、動画理解においては単純なモデルの巨大化よりも、特化型の設計が功を奏することを示唆しています。動画理解のためにゼロから構築されたモデルは、動画を画像認識の延長として扱う汎用型の巨大モデルを凌駕できるのです。

すでに実運用へ: TikTok Smart Split

これは机上の空論ではありません。Vidi2はTikTokの「Smart Split」機能を裏で支えています:

• ✓長尺動画からハイライトを自動抽出
• ✓音声に同期した字幕の自動生成
• ✓異なるアスペクト比に応じたレイアウト再構成
• ✓内容に基づいた最適なカットポイントの特定

毎日数百万人ものクリエイターがSmart Splitを利用しています。このモデルは理論上のものではなく、大規模な現場ですでに実績を証明しています。

オープンソース: ローカルでの実行

ByteDanceはVidi2をGitHub上でCC BY-NC 4.0ライセンスのもとで公開しました。つまり研究、教育、個人プロジェクトでは無料で利用できますが、商用利用には別途ライセンスが必要となります。この公開が意味するメリットは以下の通りです:

このオープンソース公開は、LTX Videoをはじめとする中国のAI研究所に見られる流れを踏襲しています。欧米の競合他社が自社モデルをプロプライエタリ（非公開）に保つ一方で、強力なモデルを公にリリースしています。

実践的な活用事例

Vidi2によって実現する実際のワークフローをいくつか紹介します:

コンテンツの再利用（リパーパシング）

入力: 2時間のポッドキャスト収録動画 出力: ベストモーメントを切り出した10本のショートクリップ（適切なイントロとアウトロのカット付き）

モデルが魅力的な瞬間を特定し、自然なカットポイントを見つけ、単体のコンテンツとして成立するクリップを切り出します。

トレーニング動画の管理

入力: 500時間分の社内研修動画 クエリ: 「新しいCRMのワークフローを説明しているすべてのシーンを探す」

手作業で動画をシークしたり、不確実なメタデータに頼ったりする代わりに、Vidi2が実際に動画を視聴して内容を理解します。

スポーツのハイライト

入力: 試合全体のフル映像 出力: すべての得点シーン、緊迫した場面、歓喜の瞬間をまとめたハイライトリール

モデルはスポーツのコンテキストを的確に理解し、単なる動きではなく意味のある瞬間を判別します。

監視カメラ映像の確認

入力: 24時間分の防犯カメラ映像 クエリ: 「午後6時以降に勝手口から侵入した人物の映像をすべて抽出」

Spatio-Temporal Groundingにより、正確なタイムスタンプと位置情報を含めた高精度な回答が得られます。

生成モデルとの比較

これらは競合する技術ではありません。解決する課題が異なります。完全なAI動画ワークフローにはその両方が必要です。新しいコンテンツを作るための生成技術と、既存のコンテンツを扱うための理解技術です。

より大きな視点で見る可能性

これが何をもたらすかを考えてみてください:

• すべての企業が、アーカイブに眠ったままの動画コンテンツを抱えている
• すべてのクリエイターが、撮影よりも編集に多くの時間を費やしている
• すべてのプラットフォームが、より優れたコンテンツモデレーションと発見機能を必要としている
• すべての研究者が、効率的に分析しきれない映像データを抱えている

Vidi2はこれらすべてに対応します。オープンソースでの公開により、十分なコンピュート環境さえあれば誰もがこれらの機能を利用できるようになりました。

はじめ方

モデルはGitHub上でドキュメントやデモとともに公開されています。必要なシステム要件:

• フルモデルの実行には最低24GBのVRAMを備えたNVIDIA GPU
• 小型GPU向けに量子化バージョンも提供
• Python 3.10以上、PyTorch 2.0以上

git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"

ByteDanceは中国企業ですが、グローバルな利用者を意識してドキュメントは主に英語で提供されています。

業界にとっての意味

現在、AI動画の領域には2つの明確な潮流があります:

双方が進化し、やがて統合されていくでしょう。2026年の完成されたAI動画スタックは、生成、編集、理解をシームレスにこなすようになるはずです。

現時点において、Vidi2は動画理解における最も強力なオープンソースの選択肢です。分析すべき映像がある場合、自動化したい編集作業がある場合、あるいは整理したいコンテンツがある場合、真っ先に検証すべきモデルと言えます。

私の見解

これまでに動画処理パイプラインを構築した経験がある人なら、Vidi2のようなモデルが登場したことによる劇的な変化を実感できるはずです。以前は専用のコンピュータビジョンスタックや手作業のアノテーション、壊れやすいヒューリスティクスを必要としていたタスクが、今やプロンプトひとつで解決できるようになりました。

Vidi2は編集者に取って代わるものではなく、これまで不可能だった規模で作業を行う能力を編集者に授けるものです。そして非商用利用においてオープンアクセスであるため、環境をセットアップする意思がある人なら誰でもこの能力を手に入れることができます。

動画の未来は生成だけではありません。理解することにあります。そしてその未来は今、オープンソースとして目の前にあります。

情報ソース

• ByteDance Vidi2 GitHub Repository
• Vidi2 Research Paper (arXiv)
• ByteDance Releases Vidi2 Open-Source AI Model (WinBuzzer)