Video Language Models: Garis Depan Berikutnya Setelah LLM dan AI Agent
World model mengajari AI untuk memahami realitas fisik, memungkinkan robot merencanakan tindakan dan mensimulasikan hasil sebelum menggerakkan satu aktuator pun.
Henry ยท Penulis AI, pemeriksaan otomatis, editor bertanggung jawab9 min read
Large language model telah menguasai teks. Model visi telah menguasai gambar. AI agent telah belajar menggunakan alat. Kini, kategori baru mulai bermunculan yang bisa melampaui semuanya: video language model, atau yang makin sering disebut peneliti sebagai "world model."
Kita telah menghabiskan beberapa tahun terakhir mengajari AI untuk membaca, menulis, dan bahkan menalar masalah yang kompleks. Namun ada satu hal: semua itu terjadi di ranah digital. ChatGPT bisa menuliskan puisi tentang berjalan melintasi hutan, tetapi ChatGPT tidak tahu bagaimana rasanya melangkahi batang kayu yang tumbang atau menunduk di bawah dahan yang rendah.
World model hadir untuk mengubah hal tersebut.
Apa Itu Video Language Models?
Video language model (VLM) memproses urutan visual dan bahasa secara bersamaan, memungkinkan AI untuk tidak hanya memahami apa yang ada dalam bingkai (frame), tetapi juga bagaimana adegan berkembang seiring waktu dan apa yang mungkin terjadi selanjutnya.
Anggap saja model ini sebagai evolusi dari vision-language model, tetapi dengan tambahan krusial: pemahaman temporal. Jika VLM standar melihat satu gambar dan menjawab pertanyaan tentang gambar tersebut, video language model mengamati urutan adegan yang berlangsung dan mempelajari aturan yang mengatur realitas fisik.
Ini bukan sekadar rasa ingin tahu akademis. Implikasi praktisnya sangat luar biasa.
Ketika robot perlu mengambil cangkir kopi, robot tidak bisa hanya mengenali "cangkir" dalam gambar. Robot perlu memahami:
- โBagaimana objek berperilaku saat didorong atau diangkat
- โApa yang terjadi saat cairan berkecimpung atau terguncang
- โBagaimana gerakannya sendiri memengaruhi adegan
- โTindakan apa yang secara fisik mungkin versus tidak mungkin dilakukan
Di sinilah world model berperan.
Dari Simulasi ke Tindakan
Kecerdasan Fisik
World model menghasilkan simulasi mirip video tentang masa depan yang mungkin terjadi, memungkinkan robot "membayangkan" hasil sebelum melakukan tindakan.
Konsepnya sangat elegan: alih-alih melakukan hardcoding aturan fisik, Anda melatih AI pada jutaan jam video yang menunjukkan cara kerja dunia nyata. Model mempelajari gravitasi, gesekan, permanensi objek, dan kausalitas bukan dari persamaan rumus, melainkan dari pengamatan.
Cosmos dari NVIDIA mewakili salah satu upaya paling ambisius dalam hal ini. World model proprietary mereka dirancang khusus untuk aplikasi robotika, di mana pemahaman tentang realitas fisik bukanlah pilihan. Itu adalah keharusan untuk bertahan hidup.
Genie 3 dari Google DeepMind mengambil pendekatan berbeda, berfokus pada generasi dunia interaktif tempat model tersebut dapat "dimainkan" seperti lingkungan video game.
Aturan fisika yang dikodekan secara manual, kasus batas yang rapuh, larik sensor yang mahal, adaptasi lambat terhadap lingkungan baru
Intuisi fisik hasil pembelajaran, degradasi yang mulus, persyaratan perangkat keras yang lebih sederhana, transfer cepat ke skenario baru
Eksperimen PAN
Peneliti di Mohamed bin Zayed University baru-baru ini memperkenalkan PAN, sebuah world model umum yang melakukan apa yang mereka sebut sebagai "eksperimen pikiran" dalam simulasi terkontrol.
Cara Kerja PAN
Menggunakan Generative Latent Prediction (GLP) dan arsitektur Causal Swin-DPM, PAN mempertahankan koherensi adegan selama urutan panjang sambil memprediksi hasil yang masuk akal secara fisik.
Inovasi utamanya adalah memperlakukan pemodelan dunia sebagai masalah video generatif. Alih-alih memprogram fisika secara eksplisit, model belajar menghasilkan kelanjutan video yang mematuhi hukum fisika. Saat diberi adegan awal dan usulan tindakan, model dapat "membayangkan" apa yang terjadi selanjutnya.
Hal ini memiliki implikasi mendalam bagi robotika. Sebelum robot humanoid meraih cangkir kopi itu, ia dapat menjalankan ratusan simulasi percobaan, mempelajari sudut pendekatan mana yang berhasil dan mana yang berakhir dengan kopi tumpah di lantai.
Masa Depan Miliaran Robot
Ini bukanlah angka sembarangan yang diambil untuk efek dramatis. Proyeksi industri benar-benar menunjukkan masa depan di mana robot humanoid akan menjadi seumum ponsel pintar. Dan setiap robot tersebut membutuhkan world model untuk berfungsi dengan aman di samping manusia.
Aplikasisnya meluas melampaui robot humanoid:
Simulasi Pabrik
Melatih pekerja di lingkungan virtual sebelum menempatkan mereka di area pabrik fisik
Kendaraan Otonom
Sistem keselamatan yang memprediksi skenario kecelakaan dan mengambil tindakan pencegahan
Navigasi Pergudangan
Robot yang memahami ruang kompleks dan beradaptasi dengan perubahan tata letak
Asisten Rumah Tangga
Robot yang melintasi ruang hidup manusia secara aman dan memanipulasi objek sehari-hari
Pertemuan Antara Generasi Video dan Pemahaman Dunia
Jika Anda mengikuti perkembangan generasi video AI, Anda mungkin melihat beberapa tumpang tindih di sini. Alat seperti Sora 2 dan Veo 3 sudah menghasilkan video yang sangat realistis. Bukankah itu juga world model?
Ya dan tidak.
OpenAI secara eksplisit memosisikan Sora memiliki kemampuan simulasi dunia. Model ini secara jelas memahami sesuatu tentang fisika. Lihatlah hasil generasi Sora mana pun dan Anda akan melihat pencahayaan yang realistis, gerakan yang masuk akal, dan objek yang sebagian besar berperilaku dengan benar.
Namun ada perbedaan krusial antara menghasilkan video yang tampak masuk akal dan benar-benar memahami kausalitas fisik. Generator video saat ini dioptimalkan untuk realisme visual. World model dioptimalkan untuk akurasi prediktif.
Pengujiannya bukanlah "apakah ini terlihat nyata?" melainkan "diberikan tindakan X, apakah model secara akurat memprediksi hasil Y?" Itu adalah standar yang jauh lebih sulit untuk dicapai.
Masalah Halusinasi
Inilah kenyataan yang tidak menyenangkan: world model mengalami masalah halusinasi yang sama yang melanda LLM.
Ketika ChatGPT dengan percaya diri menyatakan fakta yang salah, itu menjengkelkan. Ketika world model dengan percaya diri memprediksi bahwa robot dapat menembus dinding, itu berbahaya.
Halusinasi world model dalam sistem fisik dapat menyebabkan bahaya nyata. Batasan keselamatan dan lapisan verifikasi sangat penting sebelum penyebaran (deployment) bersama manusia.
Sistem saat ini mengalami degradasi pada urutan yang lebih panjang, kehilangan koherensi semakin jauh mereka memproyeksikan ke masa depan. Hal ini menciptakan ketegangan mendasar: prediksi paling berguna adalah prediksi jangka panjang, tetapi prediksi tersebut juga paling tidak dapat diandalkan.
Para peneliti mengatasi masalah ini dari berbagai sudut. Beberapa berfokus pada data pelatihan yang lebih baik. Yang lain mengerjakan inovasi arsitektur yang mempertahankan konsistensi adegan. Ada pula yang mendorong pendekatan hibrida yang menggabungkan world model hasil pembelajaran dengan batasan fisik eksplisit.
Terobosan Qwen 3-VL
Di sisi vision-language, Qwen 3-VL dari Alibaba mewakili pencapaian mutakhir (state of the art) saat ini untuk model sumber terbuka (open-source).
Model unggulan Qwen3-VL-235B bersaing dengan sistem proprietary terkemuka di berbagai tolok ukur (benchmark) multimodal yang mencakup Tanya Jawab umum, grounding 3D, pemahaman video, OCR, dan pemahaman dokumen.
Hal yang membuat Qwen 3-VL sangat menarik adalah kemampuan "agentic"-nya. Model ini dapat mengoperasikan antarmuka grafis, mengenali elemen UI, memahami fungsinya, dan menjalankan tugas dunia nyata melalui pemanggilan alat (tool invocation).
Ini adalah jembatan antara pemahaman dan tindakan yang dibutuhkan oleh world model.
Mengapa Ini Penting bagi Kreator
Jika Anda seorang pembuat video, pembuat film, atau animator, world model mungkin terasa jauh dari pekerjaan sehari-hari Anda. Namun implikasinya lebih dekat dari yang Anda bayangkan.
Gejala yang sudah Anda kenali
Alat video AI saat ini kesulitan dengan konsistensi fisik, dan kegagalan tersebut memiliki penyebab yang sama:
- Objek saling bertabrakan atau menembus satu sama lain (clipping), karena tidak ada dalam model yang merepresentasikan objek sebagai sesuatu yang menempati ruang.
- Gravitasi berperilaku tidak konsisten antar shot, karena setiap shot diambil sampelnya secara independen.
- Sebab dan akibat menjadi kacau, karena model memprediksi tampilan suatu bingkai (frame) daripada apa yang terjadi selanjutnya.
Apa yang diubah oleh world model
World model adalah sistem yang mempertahankan representasi adegan itu sendiri, bukan hanya bingkai terakhir. Perbedaan itulah yang memungkinkan sebuah objek tetap berada di tempatnya semula ketika kamera meninggalkannya dan kembali lagi.
World model yang dilatih pada kumpulan data video besar pada akhirnya dapat diintegrasikan kembali ke dalam generasi video, menghasilkan alat AI yang secara inheren mematuhi hukum fisika. Bayangkan generator video di mana Anda tidak perlu memberi perintah (prompt) untuk "fisika realistis" karena model tersebut sudah mengetahui cara kerja realitas.
Bacaan terkait: Untuk informasi lebih lanjut tentang bagaimana generasi video berkembang, lihat ulasan mendalam kami tentang diffusion transformers dan world models dalam generasi video.
Apa artinya ini untuk proyek Anda berikutnya
Belum ada satu pun di sini yang tersedia sebagai produk untuk Anda hari ini, dan rekomendasi jujurnya bermula dari hal tersebut.
- Jika Anda meluncurkan video kuartal ini: abaikan world model sepenuhnya dan pilihlah berdasarkan kriteria yang ada saat ini, yaitu durasi shot, konsistensi identitas, dan biaya per detik. Model yang menalar tentang fisika tidak ada dalam daftar pilihan, karena memang belum ada.
- Jika Anda merencanakan alur kerja (pipeline) untuk tahun depan: kriteria yang layak dipantau adalah apakah generator menjaga objek tetap stabil saat keluar dari bingkai dan kembali lagi. Pengujian tunggal itu membedakan world model dari pemrediksi bingkai yang sangat bagus, dan Anda dapat menjalankannya di alat mana pun dalam waktu sekitar satu menit.
- Jika Anda memilih apa yang perlu dipelajari: keterampilan yang dapat ditransfer adalah perencanaan shot di sekitar batasan model daripada penyusunan kata dalam prompt, karena batasan berubah dengan lambat sementara penyusunan kata berubah di setiap rilis.
Klaim yang perlu diwaspadai adalah alat apa pun yang memasarkan pemahaman fisik tanpa menampilkan shot tanpa potongan (uncut shot). Demo semacam itu murah untuk diproduksi, jadi ketidakhadirannya dalam peluncuran sangat patut diperhatikan.
Jalan di Depan
World model mewakili tujuan paling ambisius dalam AI: mengajari mesin untuk memahami realitas fisik seperti yang dilakukan manusia. Bukan melalui pemrograman eksplisit, melainkan melalui pengamatan, inferensi, dan imajinasi.
Kita masih berada di tahap awal. Sistem saat ini adalah demonstrasi yang mengesankan, bukan solusi yang siap produksi. Namun lintasannya sudah jelas.
Apa yang Kita Miliki Sekarang:
- Koherensi urutan yang terbatas
- Model spesifik domain
- Biaya komputasi tinggi
- Penyebaran tahap riset
Apa yang Akan Datang:
- Pemahaman temporal yang diperluas
- World model tujuan umum (general-purpose)
- Penyebaran perangkat edge
- Integrasi robotika komersial
Perusahaan-perusahaan yang berinvestasi besar-besaran di bidang ini, NVIDIA, Google DeepMind, OpenAI, dan berbagai startup, bertaruh bahwa kecerdasan fisik adalah garis depan berikutnya setelah kecerdasan digital.
Mengingat betapa transformatifnya LLM untuk pekerjaan berbasis teks, bayangkan dampaknya saat AI dapat memahami dan berinteraksi dengan dunia fisik secara sama fasihnya.
Itulah janji dari video language model. Itulah alasan mengapa garis depan ini sangat penting.
Bacaan lebih lanjut: Pelajari bagaimana video AI telah mengubah alur kerja kreatif dalam ulasan kami tentang generasi audio native dan adopsi perusahaan.
