ByteDance Vidi2: AI hiểu video như một biên tập viên thực thụ

Vấn đề không ai nhắc tới

Hiện nay chúng ta đã có những trình tạo video AI vô cùng ấn tượng. Runway Gen-4.5 đứng đầu các bảng xếp hạng chất lượng. Kling O1 có thể tạo âm thanh đồng bộ hoàn hảo. Nhưng đây là sự thật ít ai để ý trong ngành sản xuất video: phần lớn thời gian tiêu tốn vào khâu biên tập, chứ không phải khâu tạo cảnh quay.

Một thợ quay phim đám cưới ghi hình suốt 8 tiếng chỉ để dựng một video highlight dài 5 phút. Một nhà sáng tạo nội dung quay 45 phút để làm ra một clip TikTok 60 giây. Một đội ngũ doanh nghiệp lưu trữ tới 200 giờ video đào tạo nằm phủ bụi trong SharePoint.

Vidi2 ra đời để lấp đầy khoảng trống này. Đây không phải là một công cụ tạo video thông thường khác. Đó là một AI có khả năng xem video, thấu hiểu những gì đang diễn ra, và hỗ trợ bạn xử lý lượng nội dung khổng lồ đó trên quy mô lớn.

Vidi2 thực sự làm được những gì

ByteDance mô tả Vidi2 là một "Mô hình đa phương thức lớn phục vụ hiểu và sáng tạo video" (Large Multimodal Model for Video Understanding and Creation). Mô hình 12 tỷ tham số này đặc biệt xuất sắc ở:

Đột phá kỹ thuật: Spatio-Temporal Grounding

Các mô hình AI video trước đây chỉ hoạt động trên hai chiều riêng biệt: không gian (có gì trong khung hình này) hoặc thời gian (sự việc diễn ra khi nào). Vidi2 kết hợp cả hai thành cơ chế mà ByteDance gọi là "Spatio-Temporal Grounding" (STG).

Điều này rất quan trọng bởi các tác vụ biên tập thực tế đều đòi hỏi cả hai yếu tố. Yêu cầu "Xóa micro boom" cần biết vị trí micro xuất hiện (không gian) và xuất hiện trong bao lâu (thời gian). Vidi2 xử lý trọn vẹn yêu cầu này chỉ trong một truy vấn duy nhất.

Điểm chuẩn đánh giá: Vượt mặt các ông lớn

Đây chính là điểm thú vị. Trên bảng đánh giá chuẩn VUE-STG của ByteDance dành cho tác vụ định vị không gian - thời gian, Vidi2 vượt trội hơn cả Gemini 2.0 Flash và GPT-4o, dù sở hữu lượng tham số ít hơn đáng kể so với cả hai.

Kết quả kiểm thử cho thấy năng lực hiểu video nhận được nhiều lợi ích từ thiết kế kiến trúc chuyên sâu hơn là chỉ mở rộng quy mô tham số đơn thuần. Một mô hình được xây dựng chuyên biệt cho video ngay từ đầu có thể vượt qua các mô hình đa năng lớn hơn vốn chỉ xem video như một phần mở rộng của việc xử lý hình ảnh tĩnh.

Đã triển khai thực tế: TikTok Smart Split

Đây không phải là một dự án trên giấy. Vidi2 đang trực tiếp vận hành tính năng "Smart Split" của TikTok, với các khả năng:

• ✓Tự động trích xuất các khoảnh khắc nổi bật từ video dài
• ✓Tạo phụ đề khớp chính xác với giọng nói
• ✓Tái cấu trúc bố cục khung hình cho các tỷ lệ khung hình khác nhau
• ✓Xác định các điểm cắt tối ưu dựa trên nội dung thực tế

Hàng triệu nhà sáng tạo nội dung đang sử dụng Smart Split mỗi ngày. Mô hình này đã chứng minh được hiệu quả trên quy mô thực tế, không còn là lý thuyết.

Mã nguồn mở: Tự vận hành trên hệ thống của bạn

ByteDance đã phát hành Vidi2 trên GitHub theo giấy phép CC BY-NC 4.0. Điều đó đồng nghĩa với việc bạn có thể sử dụng miễn phí cho mục đích nghiên cứu, giáo dục và các dự án cá nhân, nhưng việc sử dụng thương mại sẽ cần có giấy phép riêng. Những tác động thực tế bao gồm:

Đợt phát hành mã nguồn mở này tiếp nối xu hướng mà chúng ta từng thấy ở LTX Video cùng nhiều phòng nghiên cứu AI khác: công khai các mô hình mạnh mẽ, trong khi các đối thủ phương Tây vẫn giữ kín mã nguồn của họ.

Các ứng dụng thực tế

Hãy cùng điểm qua một số quy trình làm việc thực tế mà Vidi2 hỗ trợ:

Tái sử dụng nội dung (Content Repurposing)

Đầu vào: Bản ghi podcast dài 2 tiếng Đầu ra: 10 clip ngắn ghi lại những khoảnh khắc hay nhất, mỗi clip đều có phần mở đầu và kết thúc tự nhiên

Mô hình nhận diện các đoạn nội dung hấp dẫn, tìm các điểm cắt tự nhiên và trích xuất thành các clip có thể hoạt động độc lập.

Quản lý video đào tạo nội bộ

Đầu vào: 500 giờ video đào tạo doanh nghiệp Truy vấn: "Tìm tất cả các phân đoạn giải thích về quy trình CRM mới"

Thay vì phải tua video thủ công hoặc phụ thuộc vào metadata thiếu chính xác, Vidi2 thực sự xem và hiểu sâu toàn bộ nội dung.

Video highlight thể thao

Đầu vào: Bản ghi toàn bộ trận đấu Đầu ra: Video highlight gồm tất cả các bàn thắng, các tình huống nguy hiểm và những khoảnh khắc ăn mừng

Mô hình nắm bắt bối cảnh thể thao đủ tốt để xác định các khoảnh khắc ý nghĩa, chứ không chỉ đơn thuần ghi nhận chuyển động.

Rà soát camera giám sát

Đầu vào: 24 giờ dữ liệu camera an ninh Truy vấn: "Tìm tất cả các trường hợp có người đi vào qua cửa phụ sau 6 giờ tối"

Khả năng định vị không gian - thời gian mang lại câu trả lời chính xác kèm theo mốc thời gian và vị trí cụ thể.

So sánh với các mô hình tạo video

Đây không phải là hai công nghệ cạnh tranh nhau. Chúng giải quyết hai bài toán hoàn toàn khác biệt. Một quy trình video AI toàn diện cần cả hai: tạo sinh để sản xuất nội dung mới, và thấu hiểu để xử lý, tối ưu các nội dung sẵn có.

Bức tranh toàn cảnh

Hãy cân nhắc những tiềm năng mà công nghệ này mở ra:

• Mọi doanh nghiệp đều có kho nội dung video đang bị lãng quên trong các kho lưu trữ
• Mọi nhà sáng tạo đều mất nhiều thời gian cho việc cắt dựng hơn là quay phim
• Mọi nền tảng đều cần các công cụ kiểm duyệt và đề xuất nội dung thông minh hơn
• Mọi nhà nghiên cứu đều sở hữu lượng tư liệu video mà họ chưa thể phân tích hiệu quả

Vidi2 giải quyết trọn vẹn tất cả những thách thức này. Việc phát hành dưới dạng mã nguồn mở giúp những năng lực này trở nên dễ tiếp cận với bất kỳ ai sở hữu năng lực tính toán phù hợp.

Bắt đầu sử dụng

Mô hình hiện đã có mặt trên GitHub kèm theo tài liệu hướng dẫn và các bản demo. Yêu cầu hệ thống:

• GPU NVIDIA với tối thiểu 24GB VRAM để chạy toàn bộ mô hình
• Có sẵn các phiên bản lượng tử hóa (quantized) dành cho GPU nhỏ hơn
• Python 3.10+ cùng PyTorch 2.0+

git clone https://github.com/bytedance/vidi
cd vidi
pip install -r requirements.txt
python demo.py --video your_video.mp4 --query "describe the main events"

Tài liệu hướng dẫn chủ yếu được viết bằng tiếng Anh dù ByteDance là một công ty Trung Quốc, phản ánh định hướng hướng tới cộng đồng người dùng toàn cầu.

Ý nghĩa đối với toàn ngành

Bức tranh toàn cảnh của video AI hiện đang phân tách thành hai hướng đi rõ rệt:

Cả hai hướng đi này sẽ tiếp tục hoàn thiện và tích hợp chặt chẽ với nhau. Bộ công cụ video AI hoàn chỉnh vào năm 2026 sẽ có thể tạo sinh, biên tập và thấu hiểu nội dung một cách mượt mà.

Ở thời điểm hiện tại, Vidi2 là lựa chọn mã nguồn mở mạnh mẽ nhất cho bài toán hiểu video. Nếu bạn có các cảnh quay cần phân tích, quy trình dựng phim cần tự động hóa, hoặc nội dung cần sắp xếp lại, đây chắc chắn là mô hình bạn nên khám phá.

Góc nhìn của tôi

Đối với bất kỳ ai từng xây dựng các hệ thống xử lý video, sự khác biệt trước và sau khi có những mô hình như Vidi2 là vô cùng rõ rệt. Những tác vụ từng đòi hỏi cả một hệ thống thị giác máy tính phức tạp, việc gán nhãn thủ công tốn kém và các thuật toán phỏng đoán dễ lỗi, giờ đây có thể được giải quyết chỉ bằng một câu lệnh.

Vidi2 không thay thế các biên tập viên. Mô hình trao cho họ những năng lực xử lý ở quy mô mà trước đây vốn bất khả thi. Và với việc mở mã nguồn (cho mục đích phi thương mại), những khả năng này đã sẵn sàng cho bất kỳ ai muốn thiết lập hạ tầng để ứng dụng.

Tương lai của video không chỉ nằm ở khâu tạo sinh. Tương lai đó thuộc về khả năng thấu hiểu nội dung. Và tương lai ấy giờ đây đã mở mã nguồn.

Nguồn tham khảo

• ByteDance Vidi2 GitHub Repository
• Vidi2 Research Paper (arXiv)
• ByteDance Releases Vidi2 Open-Source AI Model (WinBuzzer)