World Labs Marble: Visi Fei-Fei Li Untuk Kecerdasan Spatial

Penyelidik yang memberi mesin keupayaan untuk melihat kini mengajar mereka membayangkan keseluruhan dunia. Dengan World Labs Marble, Fei-Fei Li mengambil langkah seterusnya melangkaui penjanaan video ke persekitaran 3D yang berterusan dan boleh diterokai.

Dari ImageNet Ke Model Dunia

💡

Untuk konteks tentang bagaimana model dunia sesuai dengan evolusi video AI, lihat gambaran keseluruhan kami tentang model dunia sebagai sempadan seterusnya.

Fei-Fei Li merevolusikan penglihatan komputer dengan ImageNet, set data yang menjadikan pembelajaran mendalam moden mungkin. Kini, selepas setahun membina World Labs dengan pembiayaan $230 juta, dia telah melancarkan Marble, produk komersial pertama syarikat.

Tesisnya mudah: AI telah menakluki teks, kemudian imej, kemudian video. Sempadan seterusnya adalah kecerdasan spatial, keupayaan untuk merasai, menjana, dan berinteraksi dengan dunia 3D.

$230J

Pembiayaan Dikumpul

Peringkat Harga

Output Asli

Apa Yang Marble Lakukan

Marble menjana persekitaran 3D yang berterusan dan boleh dimuat turun dari pelbagai jenis input:

✓Prompt teks
✓Imej tunggal
✓Video
✓Panorama
✓Susun atur 3D

Tidak seperti model dunia masa nyata dari pesaing seperti Oasis Decart atau Genie Google, Marble mencipta dunia stabil dengan perubahan bentuk minimum. Anda menjana sekali, kemudian terokai dengan bebas tanpa AI "terlupa" apa yang dicipta.

Editor Chisel

🔨

Penyuntingan 3D Asli-AI

Chisel memisahkan struktur spatial dari gaya visual. Susun atur anda dahulu, kemudian gunakan panduan gaya berasaskan teks.

Pendekatan hibrid ini membezakan Marble dari model teks-ke-adegan. Daripada berharap AI memahami niat spatial anda, anda menentukan geometri secara eksplisit. AI mengendalikan estetika, bahan, dan pencahayaan.

Fikirkan seperti melakar pelan lantai sebelum meminta pereka dalaman untuk menghias. Kawalan ke atas hubungan spatial kekal milik anda.

Format Eksport dan Keserasian

Dunia yang dijana dieksport dalam tiga format:

Format	Kes Penggunaan
Gaussian Splats	Rendering masa nyata, pandangan novel
Meshes	Enjin permainan, integrasi CAD
Videos	Penciptaan kandungan, pra-vis

💡

Semua dunia Marble adalah serasi VR dengan headset Vision Pro dan Quest 3 di luar kotak.

Struktur Harga

World Labs menawarkan empat peringkat:

Peringkat	Harga	Penjanaan	Ciri Utama
Percuma	$0	4/bulan	Input teks, imej, atau panorama
Standard	$20/bulan	12/bulan	Input berbilang imej/video, penyuntingan lanjutan
Pro	$35/bulan	25/bulan	Pengembangan adegan, hak komersial
Max	$95/bulan	75/bulan	Semua ciri, penjanaan maksimum

Peringkat percuma membolehkan anda menilai teknologi. Untuk kerja pengeluaran yang memerlukan hak komersial, peringkat Pro pada $35/bulan mewakili harga masuk yang munasabah untuk keupayaan yang baru ini.

Mengapa Kecerdasan Spatial Penting

"Kecerdasan spatial adalah cabaran yang menentukan dekad akan datang." - Fei-Fei Li

Li berhujah bahawa AI semasa mempunyai batasan asas: ia berfikir dengan buruk tentang ruang 3D. Model bahasa berhalusinasi fizik. Model video mencipta geometri yang mustahil. Penjana imej bergelut dengan hubungan spatial yang konsisten.

✗Pendekatan Semasa

Model video menjana urutan bingkai tanpa pemahaman 3D sebenar. Pergerakan kamera mendedahkan ketidakkonsistenan. Objek berubah kedudukan atau hilang.

✓Kecerdasan Spatial

Perwakilan 3D asli membolehkan dunia konsisten secara fizikal. Gerakkan kamera dengan bebas. Persekitaran berterusan kerana ia wujud sebagai geometri, bukan piksel.

Untuk robotik, ini sangat penting. Robot yang menavigasi dapur memerlukan pemahaman spatial, bukan ramalan bingkai. Untuk VFX, pengarah memerlukan persekitaran yang boleh diterokai, bukan laluan kamera tetap.

Kes Penggunaan Yang Terbentuk

Permainan Jana persekitaran ambien dan ruang latar belakang. Pembangun indie boleh mencipta kawasan penerokaan yang akan memerlukan bulan pengeluaran seni tradisional.

Kesan Visual Pra-visualisasi menjadi interaktif. Susun adegan secara spatial, kemudian terokai sudut kamera sebelum komit kepada tangkapan.

Seni Bina Tukar pelan lantai kepada laluan yang boleh diterokai. Pelanggan mengalami ruang sebelum pembinaan bermula.

Pendidikan Li membayangkan pelajar berjalan di dalam sel, pakar bedah berlatih di dalam simulasi anatomi.

Pengembangan Dunia dan Mod Komposer

Dua ciri menangani batasan skala:

Pengembangan Dunia membolehkan anda melanjutkan dunia yang dijana sekali, menambah butiran ke kawasan tepi di mana kualiti biasanya merosot. Ini menolak sempadan ruang yang boleh diterokai melangkaui had penjanaan awal.

Mod Komposer menggabungkan berbilang dunia ke dalam persekitaran yang lebih besar. Jana bilik individu, kemudian jahit mereka menjadi bangunan lengkap.

Alat ini mengakui kekangan semasa sambil menyediakan penyelesaian praktikal.

Landskap Persaingan

Marble memasuki bidang yang sesak:

Produk	Pendekatan	Pembeza
Decart Oasis	Penjanaan permainan masa nyata	Interaktif, tetapi dunia beralih semasa penerokaan
Google Genie	Penjanaan dunia permainan	Ramalan bingkai tanpa 3D sebenar
Odyssey	Model dunia berterusan	Fokus perusahaan
World Labs Marble	Penjanaan 3D statik	Boleh dimuat turun, boleh diedit, bersedia VR

Pertukaran jelas. Model masa nyata seperti Oasis menawarkan kesegeraan tetapi ketidakstabilan. Marble mengutamakan ketekunan dan kebolehubahan berbanding interaktiviti.

Menghubungkan Ke Penjanaan Video

💡

Untuk latar belakang tentang seni bina penyebaran yang digunakan dalam AI spatial, lihat gambaran keseluruhan teknikal kami tentang transformer penyebaran.

Bagaimana penjanaan dunia 3D berkaitan dengan video? Mereka berkongsi asas matematik dalam model penyebaran, tetapi menyelesaikan masalah yang berbeza.

Penjanaan video mencipta urutan temporal, bingkai demi bingkai. AI spatial mencipta perwakilan geometri, permukaan dan isipadu. Video menjawab "apa yang berlaku seterusnya?" AI spatial menjawab "apa yang wujud di sini?"

Titik konvergensi: video yang boleh dinavigasi. Jana dunia 3D, kemudian render video semasa anda bergerak melaluinya. Pendekatan ini menawarkan kawalan kamera yang mustahil dengan penjanaan video tulen.

Batasan Untuk Dipertimbangkan

Marble bukan penyelesaian lengkap:

○Tiada watak animasi atau elemen dinamik
○Had penjanaan mungkin mengehadkan aliran kerja pengeluaran
○Degradasi tepi memerlukan laluan pengembangan
○Persekitaran statik sahaja

Untuk kandungan animasi, anda masih memerlukan model penjanaan video. Marble cemerlang dalam persekitaran dan ruang, bukan pelakon atau tindakan.

Gambaran Besar

Fei-Fei Li melihat kecerdasan spatial sebagai penting untuk kemajuan AI:

"Saya fikir semua kita mempunyai tanggungjawab dalam mengushkan AI ke keadaan yang lebih baik kerana ia menjadi lebih berkuasa. Semua kita harus mahu manusia menang dan berkembang maju."

Visinya melangkaui hiburan. Simulasi perubatan di mana pelajar meneroka anatomi. Visualisasi saintifik di mana penyelidik menavigasi struktur molekul. Persekitaran latihan robotik yang dijana atas permintaan.

Marble adalah langkah pertama, bukti konsep komersial. Penyelidikan berterusan ke arah penjanaan dunia yang lebih dinamik, interaktif, dan tepat secara fizikal.

Bermula

World Labs menawarkan peringkat percuma dengan 4 penjanaan sebulan. Cukup untuk menilai teknologi dan memahami kekangannya.

Untuk pencipta yang sudah bekerja dalam 3D, keupayaan eksport mesh berintegrasi dengan rangkaian kerja sedia ada. Untuk pengeluar video, eksport video menyediakan keupayaan pra-visualisasi yang tidak tersedia di tempat lain.

💡

Bacaan berkaitan: Panduan kami tentang konsistensi watak video AI merangkumi teknik untuk mengekalkan koherensi merentas kandungan yang dijana, cabaran yang ditangani Marble melalui perwakilan 3D yang berterusan.

Peralihan dari penjanaan 2D kepada penciptaan dunia 3D mewakili perubahan asas dalam apa yang boleh dihasilkan AI. Marble menjadikan peralihan itu boleh diakses.