Video Language Models: Biên giới Tiếp theo Sau LLM và AI Agents

Chúng ta đã dành vài năm qua để dạy AI đọc, viết, và thậm chí suy luận qua các vấn đề phức tạp. Nhưng có điều cần lưu ý: tất cả điều đó xảy ra trong lĩnh vực kỹ thuật số. ChatGPT có thể viết cho bạn một bài thơ về việc đi bộ qua rừng, nhưng nó không hiểu cảm giác thực sự bước qua một thân cây đổ hoặc cúi xuống dưới một cành cây thấp như thế nào.

World models đến để thay đổi điều đó.

Video Language Models là gì?

Hãy coi chúng như sự tiến hóa của vision-language models, nhưng với một bổ sung quan trọng: hiểu biết về thời gian. Trong khi VLM tiêu chuẩn nhìn vào một hình ảnh đơn lẻ và trả lời câu hỏi về nó, video language model quan sát các chuỗi diễn ra và học các quy tắc chi phối thực tế vật lý.

Đây không chỉ là sự tò mò học thuật. Những tác động thực tiễn rất đáng kinh ngạc.

Khi một robot cần nhặt một tách cà phê, nó không thể chỉ nhận ra "tách" trong hình ảnh. Nó cần hiểu:

• ✓Các vật thể hoạt động như thế nào khi bị đẩy hoặc nâng lên
• ✓Điều gì xảy ra khi chất lỏng sóng sánh
• ✓Các chuyển động của chính nó ảnh hưởng đến cảnh như thế nào
• ✓Những hành động nào có thể thực hiện được về mặt vật lý so với không thể

Đây là nơi world models phát huy vai trò.

Từ Mô phỏng đến Hành động

Khái niệm này rất tinh tế: thay vì mã hóa cứng các quy tắc vật lý, bạn huấn luyện AI với hàng triệu giờ video cho thấy thế giới thực sự hoạt động như thế nào. Mô hình học trọng lực, ma sát, tính bền vững của vật thể, và quan hệ nhân quả không phải từ phương trình, mà từ quan sát.

Cosmos của NVIDIA là một trong những nỗ lực tham vọng nhất trong lĩnh vực này. World model độc quyền của họ được thiết kế đặc biệt cho các ứng dụng robot, nơi việc hiểu thực tế vật lý không phải là tùy chọn, mà là điều thiết yếu.

Genie 3 của Google DeepMind áp dụng cách tiếp cận khác, tập trung vào việc tạo thế giới tương tác nơi mô hình có thể được "chơi" như một môi trường trò chơi điện tử.

Thí nghiệm PAN

Các nhà nghiên cứu tại Đại học Mohamed bin Zayed gần đây đã công bố PAN, một world model tổng quát thực hiện những gì họ gọi là "thí nghiệm tư duy" trong các mô phỏng được kiểm soát.

Đổi mới chính là xử lý mô hình hóa thế giới như một vấn đề video sinh. Thay vì lập trình vật lý một cách rõ ràng, mô hình học cách tạo ra các phần tiếp theo của video tôn trọng các định luật vật lý. Khi được cho một cảnh ban đầu và một hành động được đề xuất, nó có thể "tưởng tượng" điều gì sẽ xảy ra tiếp theo.

Điều này có ý nghĩa sâu sắc đối với robot. Trước khi một robot hình người vươn tay lấy tách cà phê đó, nó có thể chạy hàng trăm lần thử mô phỏng, học các góc tiếp cận nào hiệu quả và các góc nào kết thúc với cà phê trên sàn.

Tương lai Một tỷ Robot

Đây không phải là những con số tùy tiện được đưa ra để tạo hiệu ứng kịch tính. Các dự báo của ngành thực sự chỉ đến một tương lai nơi robot hình người trở nên phổ biến như điện thoại thông minh. Và mỗi một trong số chúng sẽ cần world models để hoạt động an toàn bên cạnh con người.

Các ứng dụng mở rộng ra ngoài robot hình người:

Nơi Tạo Video Gặp Hiểu biết Thế giới

Nếu bạn đã theo dõi AI video generation, bạn có thể nhận thấy một số trùng lặp ở đây. Các công cụ như Sora 2 và Veo 3 đã tạo ra video thực tế đáng kinh ngạc. Chúng cũng là world models phải không?

Vừa đúng vừa không.

OpenAI đã định vị rõ ràng Sora là có khả năng mô phỏng thế giới. Mô hình rõ ràng hiểu điều gì đó về vật lý. Nhìn vào bất kỳ sản phẩm của Sora nào và bạn sẽ thấy ánh sáng thực tế, chuyển động hợp lý, và các vật thể hoạt động đúng phần lớn.

Nhưng có một sự khác biệt quan trọng giữa việc tạo ra video trông hợp lý và thực sự hiểu quan hệ nhân quả vật lý. Các trình tạo video hiện tại được tối ưu hóa cho tính thực tế về mặt hình ảnh. World models được tối ưu hóa cho độ chính xác dự đoán.

Vấn đề Ảo giác

Đây là sự thật không thoải mái: world models gặp phải các vấn đề ảo giác tương tự như những vấn đề làm phiền LLMs.

Khi ChatGPT tự tin nói một sự thật sai, điều đó gây khó chịu. Khi một world model tự tin dự đoán rằng robot có thể đi xuyên tường, điều đó nguy hiểm.

Các hệ thống hiện tại suy giảm trong các chuỗi dài hơn, mất đi tính mạch lạc khi chúng dự đoán xa hơn vào tương lai. Điều này tạo ra một căng thẳng cơ bản: các dự đoán hữu ích nhất là các dự đoán dài hạn, nhưng chúng cũng là những dự đoán ít đáng tin cậy nhất.

Các nhà nghiên cứu đang tấn công vấn đề này từ nhiều góc độ. Một số tập trung vào dữ liệu huấn luyện tốt hơn. Những người khác làm việc về các đổi mới kiến trúc duy trì tính nhất quán của cảnh. Những người khác nữa ủng hộ các phương pháp kết hợp kết hợp world models đã học với các ràng buộc vật lý rõ ràng.

Bước đột phá Qwen 3-VL

Về phía vision-language, Qwen 3-VL của Alibaba đại diện cho tiêu chuẩn hiện đại nhất cho các mô hình mã nguồn mở.

Điều làm cho Qwen 3-VL đặc biệt thú vị là khả năng "agentic" của nó. Mô hình có thể vận hành giao diện đồ họa, nhận dạng các phần tử UI, hiểu chức năng của chúng, và thực hiện các nhiệm vụ thế giới thực thông qua việc gọi công cụ.

Đây là cầu nối giữa hiểu biết và hành động mà world models cần.

Tại sao Điều này Quan trọng với Nhà sáng tạo

Nếu bạn là một nhà sáng tạo video, nhà làm phim, hoặc nhà hoạt hình, world models có vẻ xa vời với công việc hàng ngày của bạn. Nhưng các tác động gần hơn bạn nghĩ.

Các công cụ AI video hiện tại gặp khó khăn với tính nhất quán vật lý. Các vật thể xuyên qua nhau. Trọng lực hoạt động không nhất quán. Nguyên nhân và kết quả bị xáo trộn. Đây đều là triệu chứng của các mô hình có thể tạo ra các pixel thực tế nhưng không thực sự hiểu các quy tắc vật lý nằm dưới những gì chúng đang mô tả.

World models được huấn luyện trên các bộ dữ liệu video khổng lồ cuối cùng có thể phản hồi vào việc tạo video, tạo ra các công cụ AI vốn dĩ tôn trọng các định luật vật lý. Hãy tưởng tượng một trình tạo video nơi bạn không cần yêu cầu "vật lý thực tế" vì mô hình đã biết cách thực tế hoạt động.

Con đường Phía trước

World models có lẽ đại diện cho mục tiêu tham vọng nhất trong AI: dạy máy móc hiểu thực tế vật lý theo cách con người làm. Không phải thông qua lập trình rõ ràng, mà thông qua quan sát, suy luận, và trí tưởng tượng.

Chúng ta vẫn đang ở giai đoạn đầu. Các hệ thống hiện tại là những minh họa ấn tượng, không phải giải pháp sẵn sàng cho sản xuất. Nhưng quỹ đạo rất rõ ràng.

Các công ty đầu tư mạnh vào không gian này, NVIDIA, Google DeepMind, OpenAI, và nhiều startup, đang đặt cược rằng trí tuệ vật lý là biên giới tiếp theo sau trí tuệ kỹ thuật số.

Với sự chuyển đổi sâu sắc mà LLMs đã mang lại cho công việc dựa trên văn bản, hãy tưởng tượng tác động khi AI có thể hiểu và tương tác với thế giới vật lý một cách trôi chảy như vậy.

Đó là lời hứa của video language models. Đó là lý do tại sao biên giới này quan trọng.