World Models: Batas Baru dalam Generasi Video AI

Dari Frames ke Worlds

Model generasi video tradisional bekerja seperti seniman flip-book yang canggih. Mereka memprediksi seperti apa frame berikutnya seharusnya berdasarkan yang sebelumnya, dipandu oleh prompt teks Anda. Ini berhasil, tetapi memiliki keterbatasan fundamental.

World models mengambil pendekatan yang berbeda. Alih-alih bertanya "seperti apa seharusnya frame berikutnya?", mereka bertanya "bagaimana lingkungan ini berperilaku?" Perbedaannya terdengar halus, tetapi itu mengubah segalanya.

Ketika Anda memberi tahu prediktor frame untuk menghasilkan bola menggelinding menuruni bukit, ia memperkirakan seperti apa itu berdasarkan data pelatihan. Ketika Anda memberi tahu world model hal yang sama, ia mensimulasikan fisika: gravitasi mempercepat bola, gesekan dengan rumput memperlambatnya, momentum membawanya naik ke lereng yang berlawanan.

Apa yang Sebenarnya Dilakukan GWM-1 milik Runway

Runway merilis GWM-1 (General World Model 1) pada Desember 2025, dan ini mewakili langkah publik pertama mereka ke dalam simulasi dunia. Model menciptakan apa yang mereka sebut "dynamic simulation environments", sistem yang memahami tidak hanya bagaimana hal-hal muncul tetapi bagaimana mereka berkembang dari waktu ke waktu.

Waktunya penting. Rilis ini datang bersamaan dengan Gen-4.5 mencapai #1 di Video Arena, mendorong OpenAI Sora 2 turun ke tempat ke-4. Ini bukan pencapaian yang tidak terkait. Peningkatan Gen-4.5 dalam akurasi fisik, di mana objek bergerak dengan berat, momentum, dan gaya yang realistis, kemungkinan berasal dari penelitian world model yang menginformasikan arsitekturnya.

Mengapa Ini Mengubah Segalanya

1. Fisika yang Benar-Benar Berfungsi

Model video saat ini berjuang dengan fisika karena mereka hanya melihat fisika, tidak pernah mengalaminya. Mereka tahu objek yang dijatuhkan jatuh, tetapi mereka memperkirakan lintasan daripada menghitungnya. World models membalikkan hubungan ini.

Inilah mengapa simulasi fisika Sora 2 mengesankan orang: OpenAI berinvestasi besar dalam pemahaman fisik. World models memformalkan pendekatan ini.

2. Temporal Coherence Tanpa Trik

Titik nyeri terbesar dalam video AI adalah konsistensi dari waktu ke waktu. Karakter berubah penampilan, objek teleport, lingkungan bergeser secara acak. Kami telah menjelajahi bagaimana model belajar mengingat wajah melalui inovasi arsitektur seperti cross-frame attention.

World models menawarkan solusi yang lebih elegan: jika simulasi melacak entitas sebagai objek persisten dalam ruang virtual, mereka tidak dapat berubah atau menghilang secara acak. Bola ada di dunia yang disimulasikan. Ia memiliki properti (ukuran, warna, posisi, kecepatan) yang bertahan sampai sesuatu dalam simulasi mengubahnya.

3. Video yang Lebih Panjang Menjadi Mungkin

Model saat ini terdegradasi dari waktu ke waktu. Bidirectional diffusion dari CraftStory mendorong ke arah video 5 menit dengan membiarkan frame kemudian mempengaruhi yang sebelumnya. World models mendekati masalah yang sama dengan cara yang berbeda: jika simulasinya stabil, Anda dapat menjalankannya selama yang Anda inginkan.

Tangkapannya (Selalu Ada Tangkapan)

World models terdengar seperti solusi untuk setiap masalah generasi video. Mereka tidak, setidaknya belum.

Biaya Komputasi

Mensimulasikan dunia itu mahal. Frame prediction dapat berjalan pada GPU konsumen berkat karya dari proyek seperti LTX-2. World simulation memerlukan pemeliharaan status, pelacakan objek, menjalankan perhitungan fisika. Ini mendorong persyaratan perangkat keras naik secara signifikan.

Mempelajari Aturan Dunia Itu Sulit

Mengajarkan model seperti apa tampilan hal-hal itu mudah: tunjukkan jutaan contoh. Mengajarkan model bagaimana dunia bekerja lebih kabur. Fisika dapat dipelajari dari data video, tetapi hanya sampai batas tertentu. Model melihat bahwa objek yang dijatuhkan jatuh, tetapi ia tidak dapat menurunkan konstanta gravitasi dari menonton rekaman.

Pertanyaan Kontrol Kreatif

Jika model mensimulasikan fisika, siapa yang memutuskan fisika apa? Kadang-kadang Anda menginginkan gravitasi realistis. Kadang-kadang Anda ingin karakter Anda melayang. World models memerlukan mekanisme untuk mengganti simulasi mereka ketika kreator menginginkan hasil yang tidak realistis.

Ke Mana Arah Industri

Runway tidak sendirian dalam arah ini. Makalah arsitektur di balik diffusion transformers telah mengisyaratkan pergeseran ini selama berbulan-bulan. Pertanyaannya selalu kapan, bukan jika.

Minat perusahaan sangat bermakna. Runway memberikan akses awal kepada Ubisoft, Disney telah menginvestasikan satu miliar dolar dengan OpenAI untuk integrasi Sora. Ini bukan perusahaan yang tertarik menghasilkan klip media sosial cepat. Mereka menginginkan AI yang dapat mensimulasikan lingkungan game, menghasilkan karakter animasi yang konsisten, memproduksi konten yang tahan terhadap pengawasan profesional.

Apa Artinya Ini untuk Kreator

• ✓Konsistensi video akan meningkat secara dramatis
• ✓Konten yang berat fisika menjadi layak
• ✓Generasi lebih lama tanpa penurunan kualitas
• ○Biaya pada awalnya akan lebih tinggi dari frame prediction
• ○Mekanisme kontrol kreatif masih berkembang

Jika Anda memproduksi video AI hari ini, world models bukan sesuatu yang perlu Anda adopsi segera. Tetapi ini adalah sesuatu yang perlu diperhatikan. Perbandingan antara Sora 2, Runway, dan Veo 3 yang kami terbitkan awal tahun ini akan memerlukan pembaruan saat kemampuan world model diluncurkan di seluruh platform ini.

Untuk penggunaan praktis saat ini, perbedaannya penting untuk kasus penggunaan tertentu:

• Visualisasi produk: World models akan unggul di sini. Fisika akurat untuk objek yang berinteraksi satu sama lain.
• Seni abstrak: Frame prediction sebenarnya mungkin lebih disukai. Anda menginginkan output visual yang tidak terduga, bukan realitas yang disimulasikan.
• Animasi karakter: World models ditambah teknik pelestarian identitas akhirnya dapat menyelesaikan masalah konsistensi.

Gambaran Besar

World models mewakili video AI yang tumbuh dewasa. Frame prediction cukup untuk menghasilkan klip pendek, kebaruan visual, demonstrasi bukti konsep. World simulation adalah apa yang Anda butuhkan untuk pekerjaan produksi nyata, di mana konten harus konsisten, masuk akal secara fisik, dan dapat diperluas.

Runway mengalahkan Google dan OpenAI pada benchmark dengan tim 100 orang memberi tahu kami sesuatu yang penting: pendekatan arsitektur yang tepat lebih penting daripada sumber daya. World models mungkin merupakan pendekatan itu. Jika taruhan Runway membuahkan hasil, mereka akan mendefinisikan generasi berikutnya dari video AI.

Dan jika simulasi fisika cukup baik? Kami tidak hanya menghasilkan video lagi. Kami membangun dunia virtual, satu simulasi pada satu waktu.