World Labs Marble: Fei-Fei Lin visio tilallisesta älykkyydestä

Tutkija joka antoi koneille kyvyn nähdä, opettaa niitä nyt kuvittelemaan kokonaisia maailmoja. World Labs Marblella Fei-Fei Li ottaa seuraavan askeleen videogeneroinnin ulkopuolelle pysyviin, tutkittaviin 3D-ympäristöihin.

ImageNetistä maailmamalleihin

💡

Kontekstia varten siitä, miten maailmamallit sopivat AI-videon kehitykseen, katso yleiskatsauksemme maailmamalleista seuraavana rajana.

Fei-Fei Li mullisti konenäön ImageNetillä, tietojoukolla joka teki modernin syväoppimisen mahdolliseksi. Nyt, vuoden World Labsin rakentamisen jälkeen 230 miljoonan dollarin rahoituksella, hän on lanseerannut Marblen, yrityksen ensimmäisen kaupallisen tuotteen.

Teesi on yksinkertainen: AI on vallannut tekstin, sitten kuvat, sitten videon. Seuraava raja on tilallinen älykkyys, kyky havaita, generoida ja olla vuorovaikutuksessa 3D-maailmojen kanssa.

$230M

Rahoitus

Hintataso

Natiivi tuloste

Mitä Marble tekee

Marble generoi pysyviä, ladattavia 3D-ympäristöjä useista syötetyypeistä:

✓Tekstikehotteet
✓Yksittäiset kuvat
✓Videot
✓Panoraamat
✓3D-asettelut

Toisin kuin reaaliaikaiset maailmamallit kilpailijoilta kuten Decartin Oasis tai Googlen Genie, Marble luo vakaita maailmoja minimaalisella vääristymällä. Generoit kerran, sitten tutkit vapaasti ilman että AI "unohtaa" mitä se loi.

Chisel-editori

🔨

AI-natiivi 3D-muokkaus

Chisel erottaa tilallisen rakenteen visuaalisesta tyylistä. Suunnittele asettelusi ensin, käytä sitten tekstipohjaista tyyliohjausta.

Tämä hybridilähestymistapa erottaa Marblen teksti-kohtaus-malleista. Sen sijaan että toivoisit AI:n ymmärtävän tilallisen aikomuksesi, määrittelet geometrian eksplisiittisesti. AI käsittelee estetiikan, materiaalit ja valaistuksen.

Ajattele sitä kuin luonnostelisit pohjapiirroksen ennen kuin pyydät sisustusarkkitehtia koristelemaan. Kontrolli tilallisista suhteista pysyy sinulla.

Vientiformaatit ja yhteensopivuus

Generoidut maailmat viedään kolmessa formaatissa:

Formaatti	Käyttötarkoitus
Gaussian Splats	Reaaliaikainen renderöinti, uudet näkökulmat
Meshes	Pelimoottori, CAD-integraatio
Videot	Sisällöntuotanto, esivisualisointi

💡

Kaikki Marble-maailmat ovat VR-yhteensopivia Vision Pro ja Quest 3 -kuulokkeilla suoraan.

Hinnoittelurakenne

World Labs tarjoaa neljä tasoa:

Taso	Hinta	Generoinnit	Avainominaisuudet
Ilmainen	$0	4/kuukausi	Teksti-, kuva- tai panoramasyöte
Standardi	$20/kuukausi	12/kuukausi	Monikuva/videosyöte, edistynyt muokkaus
Pro	$35/kuukausi	25/kuukausi	Kohtauksen laajennus, kaupalliset oikeudet
Max	$95/kuukausi	75/kuukausi	Kaikki ominaisuudet, maksimaalinen määrä generointeja

Ilmainen taso antaa arvioida teknologiaa. Tuotantotyöhön joka vaatii kaupallisia oikeuksia, Pro-taso 35 dollarilla kuukaudessa edustaa kohtuullista sisäänpääsyhintaa näin uudelle kyvykkyydelle.

Miksi tilallinen älykkyys on tärkeää

"Tilallinen älykkyys on seuraavan vuosikymmenen määrittelevä haaste." - Fei-Fei Li

Li väittää että nykyisellä AI:lla on perustavanlaatuinen rajoitus: se päättelee huonosti 3D-tilasta. Kielimallit hallusinoivat fysiikkaa. Videomallit luovat mahdottomia geometrioita. Kuvageneraattorit kamppailevat johdonmukaisten tilallisten suhteiden kanssa.

✗Nykyiset lähestymistavat

Videomallit generoivat kuvasekvenssejä ilman todellista 3D-ymmärrystä. Kameraliikkeet paljastavat epäjohdonmukaisuuksia. Objektit vaihtavat paikkaa tai katoavat.

✓Tilallinen älykkyys

Natiivi 3D-esitys mahdollistaa fyysisesti johdonmukaiset maailmat. Liikuta kameraa vapaasti. Ympäristö pysyy koska se on olemassa geometriana, ei pikseleinä.

Robotiikalle tämä on valtavan tärkeää. Keittiössä navigoiva robotti tarvitsee tilallista ymmärrystä, ei kuvaennustusta. VFX:lle ohjaajat tarvitsevat tutkittavia ympäristöjä, eivät kiinteitä kameraratoja.

Käyttötapaukset ottavat muotoa

Pelaaminen Generoi ympäröiviä ympäristöjä ja taustatiloja. Indie-kehittäjät voivat luoda tutkimusalueita jotka vaatisivat kuukausia perinteistä taidetuotantoa.

Visuaaliset tehosteet Esivisualisointi muuttuu interaktiiviseksi. Suunnittele kohtaus tilallisesti, tutki sitten kamerakulmia ennen kuin sitoudut otoksiin.

Arkkitehtuuri Muunna pohjapiirrokset tutkittaviksi läpikäynneiksi. Asiakkaat kokevat tilat ennen rakentamisen alkua.

Koulutus Li kuvittelee opiskelijoita jotka kävelevät solun sisällä, kirurgeja jotka harjoittelevat anatomisissa simulaatioissa.

Maailman laajennus ja säveltäjätila

Kaksi ominaisuutta käsittelee skaalausrajoituksia:

Maailman laajennus antaa laajentaa generoitua maailmaa kerran, lisätä yksityiskohtia reunaalueisiin joissa laatu tyypillisesti heikkenee. Tämä työntää tutkittavan tilan rajoja alkuperäisten generointirajojen ulkopuolelle.

Säveltäjätila yhdistää useita maailmoja suuremmiksi ympäristöiksi. Generoi yksittäiset huoneet, ompele ne sitten täydelliseksi rakennukseksi.

Nämä työkalut tunnistavat nykyiset rajoitukset tarjoten samalla käytännöllisiä ratkaisuja.

Kilpailumaisema

Marble astuu täyteen kenttään:

Tuote	Lähestymistapa	Erottelutekijä
Decart Oasis	Reaaliaikainen peligenerointi	Interaktiivinen, mutta maailmat muuttuvat tutkimisen aikana
Google Genie	Pelimaailman generointi	Kuvaennustus ilman todellista 3D:tä
Odyssey	Pysyvät maailmamallit	Yrityssuuntautuneisuus
World Labs Marble	Staattinen 3D-generointi	Ladattava, muokattava, VR-valmis

Kompromissi on selvä. Reaaliaikaiset mallit kuten Oasis tarjoavat välittömyyttä mutta epävakautta. Marble priorisoi pysyvyyttä ja muokattavuutta interaktiivisuuden sijaan.

Yhteys videogenerointiin

💡

Taustaa varten diffuusioarkkitehtuureista joita käytetään tilallisessa AI:ssa, katso tekninen yleiskatsauksemme diffuusiotransformaattoreista.

Miten 3D-maailman generointi liittyy videoon? Ne jakavat matemaattisia perusteita diffuusiomalleissa, mutta ratkaisevat erilaisia ongelmia.

Videogenerointi luo ajallisia sekvenssejä, kuva kuvalta. Tilallinen AI luo geometrisia esityksiä, pintoja ja tilavuuksia. Video vastaa "mitä tapahtuu seuraavaksi?" Tilallinen AI vastaa "mitä on täällä?"

Konvergenssipiste: navigoitava video. Generoi 3D-maailma, renderöi sitten video kun liikut sen läpi. Tämä lähestymistapa tarjoaa kamerakontrollin mahdotonta puhtaalla videogeneroinnilla.

Rajoituksia harkittavaksi

Marble ei ole täydellinen ratkaisu:

✓Ei animoituja hahmoja tai dynaamisia elementtejä
✓Generointirajoitukset voivat rajoittaa tuotantotyönkulkuja
✓Reunaheikkeneminen vaatii laajennuskierroksia
✓Vain staattiset ympäristöt

Animoidulle sisällölle tarvitset edelleen videogenerointimalleja. Marble loistaa ympäristöissä ja tiloissa, ei näyttelijöissä tai toiminnassa.

Isompi kuva

Fei-Fei Li näkee tilallisen älykkyyden olennaisena AI:n edistymiselle:

"Uskon meillä kaikilla on vastuu johdattaa AI parempaan tilaan sen tullessa tehokkaammaksi. Meidän kaikkien tulisi toivoa ihmiskunnan menestyvän ja kukoistavan."

Hänen visionsa ulottuu viihteen ulkopuolelle. Lääketieteelliset simulaatiot joissa opiskelijat tutkivat anatomiaa. Tieteelliset visualisoinnit joissa tutkijat navigoivat molekyylirakenteissa. Robottien harjoitusympäristöt generoituna pyynnöstä.

Marble on askel yksi, kaupallinen konseptin todiste. Tutkimus jatkuu kohti dynaamisempaa, interaktiivisempaa ja fyysisesti tarkempaa maailman generointia.

Aloittaminen

World Labs tarjoaa ilmaisen tason 4 generointia kuukaudessa. Tarpeeksi arvioimaan teknologiaa ja ymmärtämään sen rajoituksia.

Tekijöille jotka jo työskentelevät 3D:ssä, mesh-vientikyky integroituu olemassa oleviin työkulkuihin. Videotuottajille videovienti tarjoaa esivisualisointikykyä saatavilla muualla.

💡

Liittyvää luettavaa: Oppaassamme AI-videon hahmon johdonmukaisuuteen käsitellään tekniikoita koherenssin ylläpitämiseen generoidun sisällön välillä, haaste jonka Marble ratkaisee pysyvän 3D-esityksen kautta.

Siirtymä 2D-generoinnista 3D-maailman luomiseen edustaa perustavanlaatuista muutosta siinä mitä AI voi tuottaa. Marble tekee tämän muutoksen saavutettavaksi.