Video Language Models: พรมแดนใหม่ถัดจาก LLM และ AI Agents

เราใช้เวลาหลายปีที่ผ่านมาสอนให้ AI อ่าน เขียน และแม้แต่ใช้เหตุผลผ่านปัญหาที่ซับซ้อน แต่มีสิ่งหนึ่งที่ควรพิจารณา: ทั้งหมดนี้เกิดขึ้นในโลกดิจิทัล ChatGPT สามารถเขียนบทกวีเกี่ยวกับการเดินผ่านป่า แต่ไม่มีความเข้าใจว่าการก้าวข้ามท่อนไม้ที่ล้มหรือก้มลงใต้กิ่งไม้ต่ำเป็นอย่างไร

World models มาเพื่อเปลี่ยนแปลงสิ่งนี้

Video Language Models คืออะไร?

ลองนึกภาพว่าพวกมันเป็นวิวัฒนาการของ vision-language models แต่มีสิ่งสำคัญเพิ่มเติม: ความเข้าใจเชิงเวลา ในขณะที่ VLM มาตรฐานดูภาพเดียวและตอบคำถามเกี่ยวกับมัน video language model สังเกตลำดับที่คลี่คลายและเรียนรู้กฎที่ควบคุมความเป็นจริงทางกายภาพ

นี่ไม่ใช่แค่ความอยากรู้ทางวิชาการ ผลกระทบในทางปฏิบัตินั้นมหาศาล

เมื่อหุ่นยนต์ต้องหยิบถ้วยกาแฟ มันไม่สามารถแค่จดจำ "ถ้วย" ในภาพได้ มันต้องเข้าใจ:

• ✓วัตถุมีพฤติกรรมอย่างไรเมื่อถูกผลักหรือยก
• ✓เกิดอะไรขึ้นเมื่อของเหลวกระฉอก
• ✓การเคลื่อนไหวของมันเองส่งผลต่อฉากอย่างไร
• ✓การกระทำใดที่เป็นไปได้ทางกายภาพเทียบกับเป็นไปไม่ได้

นี่คือจุดที่ world models เข้ามามีบทบาท

จากการจำลองสู่การกระทำ

แนวคิดนี้สง่างาม: แทนที่จะเขียนกฎทางฟิสิกส์แบบตายตัว คุณฝึก AI ด้วยวิดีโอหลายล้านชั่วโมงที่แสดงว่าโลกทำงานจริงอย่างไร โมเดลเรียนรู้แรงโน้มถ่วง แรงเสียดทาน ความคงอยู่ของวัตถุ และความเป็นเหตุเป็นผลไม่ใช่จากสมการ แต่จากการสังเกต

Cosmos ของ NVIDIA เป็นหนึ่งในความพยายามที่ทะเยอทะยานที่สุดในเรื่องนี้ World model ของพวกเขาถูกออกแบบโดยเฉพาะสำหรับแอปพลิเคชันหุ่นยนต์ ซึ่งการเข้าใจความเป็นจริงทางกายภาพไม่ใช่ทางเลือก แต่เป็นสิ่งจำเป็น

Genie 3 ของ Google DeepMind ใช้แนวทางที่แตกต่าง โดยมุ่งเน้นที่การสร้างโลกแบบโต้ตอบที่โมเดลสามารถ "เล่น" ได้เหมือนสภาพแวดล้อมวิดีโอเกม

การทดลอง PAN

นักวิจัยที่ Mohamed bin Zayed University เพิ่งเปิดตัว PAN ซึ่งเป็น world model ทั่วไปที่ทำสิ่งที่พวกเขาเรียกว่า "การทดลองความคิด" ในการจำลองที่ควบคุม

นวัตกรรมสำคัญคือการปฏิบัติต่อการสร้างแบบจำลองโลกเป็นปัญหาวิดีโอเชิงกำเนิด แทนที่จะเขียนโปรแกรมฟิสิกส์อย่างชัดเจน โมเดลเรียนรู้ที่จะสร้างการต่อเนื่องของวิดีโอที่เคารพกฎทางฟิสิกส์ เมื่อได้รับฉากเริ่มต้นและการกระทำที่เสนอ มันสามารถ "จินตนาการ" ว่าจะเกิดอะไรขึ้นต่อไป

สิ่งนี้มีผลกระทบอย่างลึกซึ้งต่อหุ่นยนต์ ก่อนที่หุ่นยนต์ฮิวแมนอยด์จะยื่นมือไปหยิบถ้วยกาแฟนั้น มันสามารถรันการทดลองจำลองหลายร้อยครั้ง เรียนรู้ว่ามุมเข้าใกล้แบบไหนได้ผลและแบบไหนจบลงด้วยกาแฟบนพื้น

อนาคตหุ่นยนต์พันล้านตัว

เหล่านี้ไม่ใช่ตัวเลขสุ่มที่ดึงมาเพื่อสร้างผลกระทบดราม่า การคาดการณ์ของอุตสาหกรรมชี้ไปที่อนาคตอย่างแท้จริงที่หุ่นยนต์ฮิวแมนอยด์จะกลายเป็นเรื่องธรรมดาเหมือนสมาร์ทโฟน และทุกตัวจะต้องมี world models เพื่อทำงานอย่างปลอดภัยเคียงข้างมนุษย์

การประยุกต์ใช้ขยายไปไกลกว่าหุ่นยนต์ฮิวแมนอยด์:

จุดที่การสร้างวิดีโอพบกับความเข้าใจโลก

หากคุณติดตาม AI video generation คุณอาจเห็นความทับซ้อนบางอย่างที่นี่ เครื่องมืออย่าง Sora 2 และ Veo 3 สร้างวิดีโอที่สมจริงอย่างน่าทึ่งแล้ว พวกมันก็เป็น world models ด้วยหรือเปล่า?

ใช่และไม่ใช่

OpenAI ได้วางตำแหน่ง Sora อย่างชัดเจนว่ามีความสามารถในการจำลองโลก โมเดลนี้เข้าใจบางอย่างเกี่ยวกับฟิสิกส์อย่างชัดเจน ดูการสร้างของ Sora ใดก็ได้ และคุณจะเห็นแสงสว่างที่สมจริง การเคลื่อนไหวที่สมเหตุสมผล และวัตถุที่มีพฤติกรรมถูกต้องเป็นส่วนใหญ่

แต่มีความแตกต่างสำคัญระหว่างการสร้างวิดีโอที่ดูสมเหตุสมผลและการเข้าใจความเป็นเหตุเป็นผลทางกายภาพอย่างแท้จริง ตัวสร้างวิดีโอปัจจุบันถูกปรับให้เหมาะสมสำหรับความสมจริงทางภาพ World models ถูกปรับให้เหมาะสมสำหรับความแม่นยำในการทำนาย

ปัญหาภาพหลอน

นี่คือความจริงที่ไม่สบายใจ: world models ประสบปัญหาภาพหลอนเช่นเดียวกับที่รบกวน LLMs

เมื่อ ChatGPT ระบุข้อเท็จจริงที่ผิดอย่างมั่นใจ มันน่ารำคาญ เมื่อ world model ทำนายอย่างมั่นใจว่าหุ่นยนต์สามารถเดินทะลุกำแพงได้ มันเป็นอันตราย

ระบบปัจจุบันเสื่อมสภาพในลำดับที่ยาวขึ้น สูญเสียความสอดคล้องยิ่งพวกมันฉายไปไกลในอนาคต สิ่งนี้สร้างความตึงเครียดพื้นฐาน: การทำนายที่มีประโยชน์ที่สุดคือการทำนายระยะยาว แต่พวกมันก็เป็นสิ่งที่เชื่อถือได้น้อยที่สุดเช่นกัน

นักวิจัยกำลังโจมตีปัญหานี้จากหลายมุม บางคนมุ่งเน้นที่ข้อมูลการฝึกที่ดีกว่า คนอื่นทำงานเกี่ยวกับนวัตกรรมสถาปัตยกรรมที่รักษาความสอดคล้องของฉาก ยังมีคนอื่นสนับสนุนแนวทางผสมที่รวม world models ที่เรียนรู้มากับข้อจำกัดทางกายภาพที่ชัดเจน

การพัฒนาก้าวกระโดดของ Qwen 3-VL

ในด้าน vision-language นั้น Qwen 3-VL ของ Alibaba แสดงถึง state of the art ปัจจุบันสำหรับโมเดลโอเพนซอร์ส

สิ่งที่ทำให้ Qwen 3-VL น่าสนใจเป็นพิเศษคือความสามารถ "agentic" ของมัน โมเดลสามารถดำเนินการอินเทอร์เฟซกราฟิก จดจำองค์ประกอบ UI เข้าใจฟังก์ชันของพวกมัน และทำงานในโลกจริงผ่านการเรียกใช้เครื่องมือ

นี่คือสะพานเชื่อมระหว่างความเข้าใจและการกระทำที่ world models ต้องการ

ทำไมสิ่งนี้จึงสำคัญสำหรับครีเอเตอร์

หากคุณเป็นครีเอเตอร์วิดีโอ ผู้สร้างภาพยนตร์ หรือแอนิเมเตอร์ world models อาจดูห่างไกลจากงานประจำวันของคุณ แต่ผลกระทบนั้นใกล้กว่าที่คุณคิด

เครื่องมือ AI video ปัจจุบันมีปัญหากับความสอดคล้องทางกายภาพ วัตถุทะลุผ่านกัน แรงโน้มถ่วงทำงานไม่สม่ำเสมอ เหตุและผลกลับสับสน เหล่านี้ล้วนเป็นอาการของโมเดลที่สามารถสร้างพิกเซลที่สมจริงแต่ไม่เข้าใจกฎทางกายภาพที่อยู่เบื้องหลังสิ่งที่พวกมันกำลังแสดง

World models ที่ฝึกจากชุดข้อมูลวิดีโอขนาดใหญ่ในที่สุดอาจป้อนกลับเข้าสู่การสร้างวิดีโอ สร้างเครื่องมือ AI ที่เคารพกฎทางฟิสิกส์โดยธรรมชาติ ลองจินตนาการถึงตัวสร้างวิดีโอที่คุณไม่ต้องขอ "ฟิสิกส์ที่สมจริง" เพราะโมเดลรู้อยู่แล้วว่าความเป็นจริงทำงานอย่างไร

เส้นทางข้างหน้า

World models อาจเป็นตัวแทนของเป้าหมายที่ทะเยอทะยานที่สุดใน AI: การสอนเครื่องจักรให้เข้าใจความเป็นจริงทางกายภาพแบบที่มนุษย์ทำ ไม่ใช่ผ่านการเขียนโปรแกรมอย่างชัดเจน แต่ผ่านการสังเกต การอนุมาน และจินตนาการ

เรายังอยู่ในช่วงเริ่มต้น ระบบปัจจุบันเป็นการสาธิตที่น่าประทับใจ ไม่ใช่โซลูชันที่พร้อมใช้งานจริง แต่เส้นทางนั้นชัดเจน

บริษัทที่ลงทุนอย่างหนักในพื้นที่นี้ ได้แก่ NVIDIA, Google DeepMind, OpenAI และสตาร์ทอัพจำนวนมาก กำลังพนันว่าความฉลาดทางกายภาพคือพรมแดนถัดไปหลังจากความฉลาดทางดิจิทัล

เมื่อพิจารณาว่า LLMs สร้างการเปลี่ยนแปลงอย่างมากสำหรับงานที่ใช้ข้อความ ลองจินตนาการถึงผลกระทบเมื่อ AI สามารถเข้าใจและโต้ตอบกับโลกทางกายภาพได้อย่างคล่องแคล่วเท่าเทียมกัน

นั่นคือคำมั่นสัญญาของ video language models นั่นคือเหตุผลที่พรมแดนนี้มีความสำคัญ