World Labs Marble: Vizija prostorske inteligence Fei-Fei Li

Raziskovalka, ki je strojem dala sposobnost videti, jih zdaj uči zamišljati cele svetove. Z World Labs Marble Fei-Fei Li naredi naslednji korak onkraj generiranja videa v obstojne, raziskljive 3D okolje.

Od ImageNeta do modelov sveta

💡

Za kontekst, kako se modeli sveta ujemajo z evolucijo UI videa, si oglejte naš pregled modelov sveta kot naslednje meje.

Fei-Fei Li je revolucionirala računalniški vid z ImageNetom, naborom podatkov, ki je omogočil sodobno globoko učenje. Zdaj, po letu gradnje World Labs s financiranjem 230 milijonov dolarjev, je lansirala Marble, prvi komercialni izdelek podjetja.

Teza je preprosta: UI je osvojila besedilo, nato slike, nato video. Naslednja meja je prostorska inteligenca, sposobnost zaznavanja, generiranja in interakcije s 3D svetovi.

$230M

Zbrano financiranje

Cenovne stopnje

Izvorni izhod

Kaj Marble počne

Marble generira obstojne, prenosljive 3D okolje iz več vrst vnosov:

✓Besedilni pozivi
✓Posamezne slike
✓Videoposnetki
✓Panorame
✓3D postavitve

Za razliko od modelov sveta v realnem času konkurentov, kot sta Decartov Oasis ali Googleov Genie, Marble ustvarja stabilne svetove z minimalnim morfingom. Generirate enkrat, nato raziskujete prosto, ne da bi UI "pozabila", kaj je ustvarila.

Urejevalnik Chisel

🔨

UI-nativno 3D urejanje

Chisel loči prostorsko strukturo od vizualnega sloga. Najprej skicirajte postavitev, nato uporabite besedilno slogovno usmerjanje.

Ta hibridni pristop razlikuje Marble od modelov besedilo-v-sceno. Namesto upanja, da bo UI razumela vašo prostorsko namero, eksplicitno definirate geometrijo. UI obravnava estetiko, materiale in osvetlitev.

Zamislite si to kot skiciranje tlorisa, preden prosite notranjega oblikovalca za dekoracijo. Nadzor nad prostorskimi odnosi ostaja vaš.

Formati izvoza in združljivost

Ustvarjeni svetovi se izvozijo v treh formatih:

Format	Primer uporabe
Gaussovi splati	Upodabljanje v realnem času, novi pogledi
Mreže	Igralni motorji, CAD integracija
Videoposnetki	Ustvarjanje vsebine, pred-vizualizacija

💡

Vsi Marble svetovi so VR-združljivi z Vision Pro in Quest 3 slušalkami takoj iz škatle.

Struktura cen

World Labs ponuja štiri stopnje:

Stopnja	Cena	Generiranja	Ključne značilnosti
Free	$0	4/mesec	Besedilo, slika ali panoramski vnos
Standard	$20/mesec	12/mesec	Več slik/video vnos, napredno urejanje
Pro	$35/mesec	25/mesec	Razširitev scene, komercialne pravice
Max	$95/mesec	75/mesec	Vse značilnosti, maksimalno generiranj

Brezplačna stopnja vam omogoča oceno tehnologije. Za produkcijsko delo, ki zahteva komercialne pravice, stopnja Pro za $35/mesec predstavlja razumno vstopno ceno za tako novo zmožnost.

Zakaj prostorska inteligenca šteje

"Prostorska inteligenca je odločilen izziv naslednjega desetletja." - Fei-Fei Li

Li trdi, da ima trenutna UI temeljno omejitev: slabo razmišlja o 3D prostoru. Jezikovni modeli halुcinirajo fiziko. Video modeli ustvarjajo nemogoče geometrije. Generatorji slik se borijo z doslednimi prostorskimi odnosi.

✗Trenutni pristopi

Video modeli generirajo zaporedja okvirjev brez pravega 3D razumevanja. Premiki kamere razkrijejo nedoslednosti. Objekti spreminjajo položaj ali izginjajo.

✓Prostorska inteligenca

Izvorna 3D reprezentacija omogoča fizično dosledne svetove. Premikajte kamero prosto. Okolje obstaja, ker obstaja kot geometrija, ne piksli.

Za robotiko je to izjemno pomembno. Robot, ki se premika po kuhinji, potrebuje prostorsko razumevanje, ne napovedovanja okvirjev. Za VFX režiserji potrebujejo raziskljiva okolja, ne fiksnih poti kamere.

Primeri uporabe, ki se oblikujejo

Igranje Generirajte ambientalna okolja in ozadja. Neodvisni razvijalci lahko ustvarijo raziskovalna območja, ki bi zahtevala mesece tradicionalne umetniške produkcije.

Vizualni učinki Pred-vizualizacija postane interaktivna. Skicirajte sceno prostorsko, nato raziščite kote kamere pred zavezanostjo k posnetkom.

Arhitektura Pretvorite tlorise v raziskljive obhode. Stranke doživljajo prostore pred začetkom gradnje.

Izobraževanje Li si predstavlja študente, ki hodijo znotraj celice, kirurge, ki vadijo znotraj anatomskih simulacij.

Razširitev sveta in način Composer

Dve značilnosti obravnavata omejitve obsega:

Razširitev sveta vam omogoča, da enkrat razširite ustvarjeni svet, dodajate podrobnosti robnim območjem, kjer se kakovost običajno poslabša. To premakne meje raziskljivega prostora onkraj začetnih omejitev generiranja.

Način Composer združuje več svetov v večja okolja. Generirajte posamezne sobe, nato jih združite v popolno stavbo.

Ta orodja priznavajo trenutne omejitve, medtem ko zagotavljajo praktične rešitve.

Konkurenčna pokrajina

Marble vstopi v zasedeno polje:

Izdelek	Pristop	Diferenciator
Decart Oasis	Generiranje iger v realnem času	Interaktivno, vendar se svetovi premikajo med raziskovanjem
Google Genie	Generiranje igralnih svetov	Napovedovanje okvirjev brez pravega 3D
Odyssey	Obstojni modeli sveta	Poslovni fokus
World Labs Marble	Statično 3D generiranje	Prenosljivo, uredljivo, VR-pripravljeno

Kompromis je jasen. Modeli v realnem času, kot je Oasis, ponujajo takojšnjost, vendar nestabilnost. Marble daje prednost obstojnosti in možnosti urejanja pred interaktivnostjo.

Povezava z generiranjem videa

💡

Za ozadje o difuzijskih arhitekturah, uporabljenih v prostorski UI, si oglejte naš tehnični pregled difuzijskih transformatorjev.

Kako se generiranje 3D sveta nanaša na video? Delijo matematične temelje v difuzijskih modelih, vendar rešujejo različne probleme.

Generiranje videa ustvarja časovna zaporedja, okvir za okvirom. Prostorska UI ustvarja geometrijske reprezentacije, površine in volumne. Video odgovarja "kaj se zgodi naslednje?" Prostorska UI odgovarja "kaj tukaj obstaja?"

Točka konvergence: navigacijski video. Generirajte 3D svet, nato upodabljajte video, medtem ko se premikate skozega. Ta pristop ponuja nadzor kamere, ki je nemogoč s čistim generiranjem videa.

Omejitve za premislek

Marble ni popolna rešitev:

○Ni animiranih likov ali dinamičnih elementov
○Omejitve generiranja lahko omejijo produkcijske poteke dela
○Poslabšanje robov zahteva prehode razširitve
○Samo statična okolja

Za animirano vsebino še vedno potrebujete modele generiranja videa. Marble odlikuje v okoljih in prostorih, ne v igralcih ali akcijah.

Večja slika

Fei-Fei Li vidi prostorsko inteligenco kot bistveno za napredek UI:

"Mislim, da imamo vsi odgovornost pri uvajanju UI v boljše stanje, ko postaja močnejša. Vsi bi morali želeti, da človeštvo zmaga in napreduje."

Njena vizija presega zabavo. Medicinske simulacije, kjer študenti raziskujejo anatomijo. Znanstvene vizualizacije, kjer raziskovalci krmarijo po molekularnih strukturah. Robotska vadbeна okolja, ustvarjena na zahtevo.

Marble je prvi korak, komercialni dokaz koncepta. Raziskovanje se nadaljuje proti bolj dinamičnemu, interaktivnemu in fizično točnemu generiranju svetov.

Začetek

World Labs ponuja brezplačno stopnjo s 4 generiranji mesečno. Dovolj za oceno tehnologije in razumevanje njenih omejitev.

Za ustvarjalce, ki že delajo v 3D, zmožnost izvoza mrež se integrira z obstoječimi cevovodi. Za video producente izvoz videa zagotavlja zmožnosti pred-vizualizacije, ki niso na voljo drugje.

💡

Povezano branje: Naš vodnik za doslednost likov v UI videu pokriva tehnike za ohranjanje koherentnosti v ustvarjeni vsebini, izziv, ki ga Marble rešuje z obstojno 3D reprezentacijo.

Prehod od 2D generiranja k ustvarjanju 3D svetov predstavlja temeljni premik v tem, kar lahko UI proizvede. Marble naredi ta premik dostopen.