Model Bahasa Video: Sempadan Baharu Selepas LLM dan Ejen AI

Kita telah menghabiskan beberapa tahun kebelakangan ini mengajar AI untuk membaca, menulis, dan bahkan menaakul melalui masalah yang kompleks. Tetapi inilah perkaranya: semua itu berlaku dalam alam digital. ChatGPT boleh menulis puisi tentang berjalan melalui hutan untuk anda, tetapi ia tidak tahu bagaimana rasanya sebenarnya melangkah melalui batang pokok yang tumbang atau menunduk di bawah dahan yang rendah.

Model dunia hadir untuk mengubah perkara ini.

Apakah Model Bahasa Video?

Fikirkan tentang mereka sebagai evolusi model penglihatan-bahasa, tetapi dengan penambahan yang penting: pemahaman temporal. Di mana VLM standard melihat satu imej dan menjawab soalan mengenainya, model bahasa video memerhati urutan yang berlangsung dan mempelajari peraturan yang mengawal realiti fizikal.

Ini bukan sekadar rasa ingin tahu akademik. Implikasi praktikalnya sangat mengagumkan.

Apabila robot perlu mengambil cawan kopi, ia tidak boleh hanya mengenali "cawan" dalam imej. Ia perlu memahami:

• ✓Bagaimana objek berkelakuan apabila ditolak atau diangkat
• ✓Apa yang berlaku apabila cecair tumpah
• ✓Bagaimana pergerakannya sendiri mempengaruhi adegan
• ✓Tindakan mana yang mungkin secara fizikal berbanding yang mustahil

Di sinilah model dunia memainkan peranannya.

Dari Simulasi ke Tindakan

Konsepnya elegan: daripada mengkodkan peraturan fizikal secara keras, anda melatih AI dengan berjuta-juta jam video yang menunjukkan bagaimana dunia sebenarnya berfungsi. Model ini mempelajari graviti, geseran, kekekalan objek, dan sebab-akibat bukan daripada persamaan, tetapi daripada pemerhatian.

Cosmos daripada NVIDIA mewakili salah satu percubaan paling bercita-cita tinggi dalam bidang ini. Model dunia proprietari mereka direka khusus untuk aplikasi robotik, di mana memahami realiti fizikal bukan pilihan. Ia adalah kelangsungan hidup.

Genie 3 daripada Google DeepMind mengambil pendekatan yang berbeza, memfokuskan pada penjanaan dunia interaktif di mana model boleh "dimainkan" seperti persekitaran permainan video.

Eksperimen PAN

Penyelidik di Universiti Mohamed bin Zayed baru-baru ini memperkenalkan PAN, model dunia umum yang melakukan apa yang mereka panggil "eksperimen pemikiran" dalam simulasi terkawal.

Inovasi utama adalah memperlakukan pemodelan dunia sebagai masalah video generatif. Daripada memprogramkan fizik secara eksplisit, model ini belajar menjana sambungan video yang menghormati hukum fizikal. Apabila diberikan adegan permulaan dan tindakan yang dicadangkan, ia boleh "membayangkan" apa yang berlaku seterusnya.

Ini mempunyai implikasi yang mendalam untuk robotik. Sebelum robot humanoid menghulurkan tangan untuk cawan kopi itu, ia boleh menjalankan ratusan percubaan simulasi, mempelajari sudut pendekatan mana yang berkesan dan mana yang berakhir dengan kopi di atas lantai.

Masa Depan Satu Bilion Robot

Ini bukan nombor sewenang-wenangnya yang diambil untuk kesan dramatik. Unjuran industri benar-benar menunjukkan masa depan di mana robot humanoid menjadi selazim telefon pintar. Dan setiap satu daripada mereka akan memerlukan model dunia untuk berfungsi dengan selamat bersama manusia.

Aplikasinya melangkaui robot humanoid:

Di Mana Penjanaan Video Bertemu Pemahaman Dunia

Jika anda telah mengikuti penjanaan video AI, anda mungkin menyedari beberapa pertindihan di sini. Alatan seperti Sora 2 dan Veo 3 sudah menjana video yang sangat realistik. Bukankah mereka juga model dunia?

Ya dan tidak.

OpenAI telah meletakkan Sora secara eksplisit sebagai mempunyai keupayaan simulasi dunia. Model ini jelas memahami sesuatu tentang fizik. Lihat mana-mana penjanaan Sora dan anda akan melihat pencahayaan yang realistik, pergerakan yang munasabah, dan objek yang berkelakuan kebanyakannya dengan betul.

Tetapi terdapat perbezaan yang penting antara menjana video yang kelihatan munasabah dan benar-benar memahami sebab-akibat fizikal. Penjana video semasa dioptimumkan untuk realisme visual. Model dunia dioptimumkan untuk ketepatan ramalan.

Masalah Halusinasi

Inilah kebenaran yang tidak selesa: model dunia mengalami masalah halusinasi yang sama yang melanda LLM.

Apabila ChatGPT dengan yakin menyatakan fakta yang salah, ia menjengkelkan. Apabila model dunia dengan yakin meramalkan bahawa robot boleh berjalan melalui dinding, ia berbahaya.

Sistem semasa merosot dalam urutan yang lebih panjang, kehilangan kekoheranan semakin jauh mereka memproyeksikan ke masa hadapan. Ini mewujudkan ketegangan asas: ramalan yang paling berguna adalah jangka panjang, tetapi ia juga yang paling kurang boleh dipercayai.

Penyelidik sedang menyerang masalah ini dari pelbagai sudut. Sesetengah menumpukan pada data latihan yang lebih baik. Yang lain mengusahakan inovasi seni bina yang mengekalkan konsistensi adegan. Yang lain lagi menyokong pendekatan hibrid yang menggabungkan model dunia yang dipelajari dengan kekangan fizikal eksplisit.

Kemajuan Qwen 3-VL

Di sisi penglihatan-bahasa, Qwen 3-VL daripada Alibaba mewakili keadaan terkini untuk model sumber terbuka.

Apa yang menjadikan Qwen 3-VL sangat menarik adalah keupayaan "agentik"nya. Model ini boleh mengendalikan antara muka grafik, mengenali elemen UI, memahami fungsi mereka, dan melaksanakan tugas dunia sebenar melalui penggunaan alatan.

Inilah jambatan antara pemahaman dan tindakan yang diperlukan oleh model dunia.

Mengapa Ini Penting untuk Pencipta

Jika anda seorang pencipta video, pembuat filem, atau animator, model dunia mungkin kelihatan jauh daripada kerja harian anda. Tetapi implikasinya lebih dekat daripada yang anda fikirkan.

Alatan video AI semasa bergelut dengan konsistensi fizikal. Objek menembusi antara satu sama lain. Graviti berkelakuan tidak konsisten. Sebab dan akibat menjadi bercelaru. Semua ini adalah gejala model yang boleh menjana piksel realistik tetapi tidak benar-benar memahami peraturan fizikal yang mendasari apa yang mereka gambarkan.

Model dunia yang dilatih dengan set data video yang besar akhirnya boleh menyuap balik ke penjanaan video, menghasilkan alatan AI yang secara semula jadi menghormati hukum fizikal. Bayangkan penjana video di mana anda tidak perlu meminta "fizik realistik" kerana model sudah tahu bagaimana realiti berfungsi.

Jalan ke Hadapan

Model dunia mewakili mungkin matlamat paling bercita-cita tinggi dalam AI: mengajar mesin untuk memahami realiti fizikal seperti yang dilakukan manusia. Bukan melalui pengaturcaraan eksplisit, tetapi melalui pemerhatian, inferens, dan imaginasi.

Kita masih di peringkat awal. Sistem semasa adalah demonstrasi yang mengagumkan, bukan penyelesaian yang sedia untuk pengeluaran. Tetapi trajektorinya jelas.

Syarikat-syarikat yang melabur dengan besar dalam ruang ini, NVIDIA, Google DeepMind, OpenAI, dan banyak syarikat permulaan, bertaruh bahawa kecerdasan fizikal adalah sempadan seterusnya selepas kecerdasan digital.

Memandangkan betapa transformatifnya LLM untuk kerja berasaskan teks, bayangkan impaknya apabila AI boleh memahami dan berinteraksi dengan dunia fizikal dengan kelancaran yang sama.

Itulah janji model bahasa video. Itulah mengapa sempadan ini penting.