World Labs Marble: Fei-Fei Li visioon ruumilisest intelligentsusest

Teadlane, kes andis masinatele võime näha, õpetab neile nüüd kujutlema terveid maailmu. World Labs Marble'iga astub Fei-Fei Li järgmise sammu üle videogeneratsiooni püsivate, uuritavate 3D-keskkondade juurde.

ImageNetist maailmamudeliteni

💡

Konteksti saamiseks, kuidas maailmamudelid sobivad AI-video arengusse, vaata meie ülevaadet maailmamudelitest kui järgmisest piirist.

Fei-Fei Li revolutsioneeris masinõpet ImageNetiga, andmekogumiga mis tegi kaasaegse süvaõppe võimalikuks. Nüüd, pärast aastat World Labsi ehitamist 230 miljoni dollari rahastusega, on ta käivitanud Marble'i, ettevõtte esimese kommertstootena.

Tees on lihtne: AI on vallutanud teksti, siis pildid, siis video. Järgmine piir on ruumiline intelligentsus, võime tajuda, genereerida ja suhelda 3D-maailmadega.

$230M

Rahastus

Hinnatasemet

Natiivne väljund

Mida Marble teeb

Marble genereerib püsivaid, allalaaditavaid 3D-keskkondi mitmest sisendtüübist:

✓Teksti päringud
✓Üksikud pildid
✓Videod
✓Panoraamid
✓3D-paigutused

Erinevalt reaalajas maailmamudelitest konkurentidelt nagu Decarti Oasis või Google'i Genie, loob Marble stabiilseid maailmu minimaalse moonutamisega. Genereeri üks kord, siis uurid vabalt ilma et AI "unustaks" mida see lõi.

Chisel-redaktor

🔨

AI-natiivne 3D-redigeerimine

Chisel eraldab ruumilise struktuuri visuaalsest stiilist. Planeeri oma paigutus esmalt, rakenda seejärel tekstipõhist stiili juhtimist.

See hübriidne lähenemisviis eristab Marble'i tekst-stseen mudelitest. Selle asemel et loota AI mõistab sinu ruumilist kavatsust, määratled geomeetria selgelt. AI käsitleb esteetikat, materjale ja valgustust.

Mõtle sellele nagu põhiplaani visandamisele enne kui palud sisekujundajal kaunistada. Kontroll ruumiliste suhete üle jääb sinule.

Ekspordi formaadid ja ühilduvus

Genereeritud maailmad eksporditakse kolmes formaadis:

Formaat	Kasutusjuht
Gaussian Splats	Reaalajas renderdamine, uued vaatenurgad
Meshes	Mängumootorid, CAD integratsioon
Videod	Sisuloome, eelvisualiseerimine

💡

Kõik Marble maailmad on VR-ühilduvad Vision Pro ja Quest 3 peakomplektidega otse.

Hinnastruktuur

World Labs pakub nelja taset:

Tase	Hind	Genereeringud	Põhifunktsioonid
Tasuta	$0	4/kuus	Teksti-, pildi- või panoraamsisend
Standardne	$20/kuus	12/kuus	Mitme pildi/video sisend, täiustatud redigeerimine
Pro	$35/kuus	25/kuus	Stseeni laiendamine, ärilised õigused
Max	$95/kuus	75/kuus	Kõik funktsioonid, maksimaalne genereeringute arv

Tasuta tase võimaldab hinnata tehnoloogiat. Tootmistööks mis nõuab ärilisi õigusi, esindab Pro-tase 35 dollariga kuus mõistlikku sisenemishinda nii uue võimekuse jaoks.

Miks ruumiline intelligentsus on oluline

"Ruumiline intelligentsus on järgmise kümnendi määratlev väljakutse." - Fei-Fei Li

Li väidab et praegusel AI-l on fundamentaalne piirang: see arutleb halvasti 3D-ruumi kohta. Keelemudelid hallutsineerivad füüsikat. Videomudelid loovad võimatuid geomeetriaid. Pildgeneraatorid võitlevad järjepidevate ruumiliste suhetega.

✗Praegused lähenemised

Videomudelid genereerivad kaadrijärjestusi ilma tõelise 3D-mõistmiseta. Kaamera liikumised paljastavad ebajärjepidevusi. Objektid muudavad positsiooni või kaovad.

✓Ruumiline intelligentsus

Natiivne 3D-esitus võimaldab füüsiliselt järjepidevaid maailmu. Liiguta kaameraid vabalt. Keskkond püsib kuna see eksisteerib geomeetriana, mitte pikslitena.

Robootika jaoks on see tohutult oluline. Robot mis navigeerib köögis vajab ruumilist mõistmist, mitte kaadri ennustamist. VFX jaoks vajavad režissöörid uuritavaid keskkondi, mitte fikseeritud kaamera radu.

Kasutusjuhtumid võtavad kuju

Mängimine Genereeri ümbritsevaid keskkondi ja tagaplaani kohti. Indie arendajad saavad luua uurimispiirkondi mis nõuaksid kuid traditsioonilist kunstiproduktsioon.

Visuaalsed efektid Eelvisualiseerimine muutub interaktiivseks. Planeeri stseen ruumiliselt, uurige seejärel kaamera nurki enne võtetele pühendumist.

Arhitektuur Teisenda põhiplaanid uuritavateks läbikäikudeks. Kliendid kogevad ruume enne ehituse algust.

Haridus Li kujutleb tudengeid raku sees kõndimas, kirurge anatoomilistes simulatsioonides harjutamas.

Maailma laiendamine ja helilooja režiim

Kaks funktsiooni käsitlevad skaala piiranguid:

Maailma laiendamine laseb sul laiendada genereeritud maailma üks kord, lisades detaile äärealadele kus kvaliteet tavaliselt halveneb. See lükkab uuritava ruumi piire üle algse genereerimise piiride.

Helilooja režiim ühendab mitu maailma suuremate keskkondadesse. Genereeri üksikud ruumid, õmble nad seejärel terviklikuks hooneks.

Need tööriistad tunnistavad praegusi piiranguid pakkudes samal ajal praktilisi lahendusi.

Konkurentsimaastik

Marble siseneb täidetud valdkonda:

Toode	Lähenemine	Eristusfaktor
Decart Oasis	Reaalajas mängugeneratsioon	Interaktiivne, kuid maailmad muutuvad uurimise ajal
Google Genie	Mängumaailma genereerimine	Kaadri ennustamine ilma tõelise 3D-ta
Odyssey	Püsivad maailmamudelid	Ettevõtte fookus
World Labs Marble	Staatiline 3D-genereerimine	Allalaaditav, redigeeritav, VR-valmis

Kompromiss on selge. Reaalajas mudelid nagu Oasis pakuvad vahetu kuid ebastabiilsust. Marble prioriseerib püsivust ja redigeeritavust üle interaktiivsuse.

Ühendus videogeneratsiooni

💡

Taustaks difusioonarhitektuuride kohta mis kasutatakse ruumilises AI-s, vaata meie tehnilist ülevaadet difusioonitransformaatoritest.

Kuidas 3D-maailma genereerimine seostub videoga? Nad jagavad matemaatilisi aluseid difusioonmudelites, kuid lahendavad erinevaid probleeme.

Videogeneratsioon loob ajajärjestusi, kaader kaadri haaval. Ruumiline AI loob geomeetrilisi esitusi, pindu ja mahte. Video vastab "mis juhtub järgmisena?" Ruumiline AI vastab "mis siin eksisteerib?"

Koondumispunkt: navigeeritav video. Genereeri 3D-maailm, seejärel renderdage video liikudes läbi selle. See lähenemine pakub kaamera kontrolli võimatut puhta videogeneratsiooniga.

Piirangud mida kaaluda

Marble ei ole täielik lahendus:

○Puuduvad animeeritud tegelased või dünaamilised elemendid
○Genereerimise piirangud võivad piirata tootmise töövoogu
○Ääre halvenemine nõuab laiendamistsükleid
○Ainult staatilised keskkonnad

Animeeritud sisule vajad ikka videogeneratsioonimudeleid. Marble särab keskkondades ja ruumides, mitte näitlejates või tegevustes.

Suurem pilt

Fei-Fei Li näeb ruumilist intelligentsust kui olulist AI arengule:

"Usun et meil kõigil on vastutus juhtida AI paremasse olekusse kui see muutub võimsamaks. Me kõik peaksime soovima et inimkond võidaks ja õitseks."

Tema visioon ulatub kaugemale meelelahutusest. Meditsiinilised simulatsioonid kus tudengid uurivad anatoomiat. Teaduslikud visualiseeringud kus teadlased navigeerivad molekulaarsetes struktuurides. Robootilised treeningkeskkonnad genereeritud nõudmisel.

Marble on samm üks, äriline kontseptsiooni tõestus. Uurimistöö jätkub dünaamilisema, interaktiivsema ja füüsiliselt täpsema maailma genereerimise suunas.

Alustamine

World Labs pakub tasuta taset 4 genereeringuga kuus. Piisavalt tehnoloogia hindamiseks ja selle piirangute mõistmiseks.

Loojatele kes juba töötavad 3D-s, integreerub mesh-ekspordi võimekus olemasolevate töövoogudega. Videotootjatele pakub video eksport eelvisualiseerimise võimekust kättesaamatu mujal.

💡

Seotud lugemine: Meie juhend AI-video tegelaskujutuse järjepidevusele katab tehnikaid koherentsuse hoidmiseks genereeritud sisu vahel, väljakutse mida Marble käsitleb püsiva 3D-esituse kaudu.

Üleminek 2D-generatsioonist 3D-maailma loomiseni esindab fundamentaalset nihet selles mida AI võib toota. Marble teeb selle nihke kättesaadavaks.