World Labs Marble: Vizija prostorne inteligencije Fei-Fei Li

Istraživačica koja je dala strojevima sposobnost vidjeti sada ih uči zamišljati cijele svjetove. S World Labs Marble, Fei-Fei Li čini sljedeći korak izvan generiranja videa prema postojanim, istraživim 3D okruženjima.

Od ImageNeta do modela svijeta

💡

Za kontekst kako se modeli svijeta uklapaju u evoluciju AI videa, pogledajte naš pregled modela svijeta kao sljedeće granice.

Fei-Fei Li revolucionirala je računalni vid s ImageNetom, skupom podataka koji je omogućio moderno duboko učenje. Sada, nakon godine gradnje World Labsa s financiranjem od 230 milijuna dolara, lansirala je Marble, prvi komercijalni proizvod tvrtke.

Teza je jednostavna: AI je osvojio tekst, zatim slike, zatim video. Sljedeća granica je prostorna inteligencija, sposobnost percipiranja, generiranja i interakcije s 3D svjetovima.

$230M

Prikupljeno financiranje

Cjenovne razine

Izvorni izlaz

Što Marble radi

Marble generira postojana, preuzimljiva 3D okruženja iz više tipova ulaza:

✓Tekstualni upiti
✓Pojedinačne slike
✓Videozapisi
✓Panorame
✓3D rasporedi

Za razliku od modela svijeta u realnom vremenu konkurenata poput Decartovog Oasisa ili Googleovog Genie-ja, Marble stvara stabilne svjetove s minimalnim morfingom. Generirate jednom, zatim istražujete slobodno bez da AI "zaboravlja" što je stvorilo.

Uređivač Chisel

🔨

AI-nativno 3D uređivanje

Chisel odvaja prostornu strukturu od vizualnog stila. Prvo skicirajte raspored, zatim primijenite tekstualno stilsko usmjeravanje.

Ovaj hibridni pristup izdvaja Marble od modela tekst-u-scenu. Umjesto nadanja da će AI razumjeti vašu prostornu namjeru, eksplicitno definirate geometriju. AI se bavi estetikom, materijalima i osvjetljenjem.

Zamislite to kao skiciranje tlocrta prije nego što zamolite dizajnera interijera za dekoraciju. Kontrola nad prostornim odnosima ostaje vaša.

Formati izvoza i kompatibilnost

Generirani svjetovi izvozе se u tri formata:

Format	Slučaj uporabe
Gaussovi splatovi	Renderiranje u realnom vremenu, novi pogledi
Mreže	Igračke engine, CAD integracija
Videozapisi	Kreiranje sadržaja, pre-viz

💡

Svi Marble svjetovi su VR-kompatibilni s Vision Pro i Quest 3 headsetima odmah iz kutije.

Struktura cijena

World Labs nudi četiri razine:

Razina	Cijena	Generiranja	Ključne značajke
Free	$0	4/mjesec	Tekst, slika ili panoramski unos
Standard	$20/mjesec	12/mjesec	Više slika/video unos, napredno uređivanje
Pro	$35/mjesec	25/mjesec	Proširenje scene, komercijalna prava
Max	$95/mjesec	75/mjesec	Sve značajke, maksimalno generiranja

Besplatna razina omogućuje vam procjenu tehnologije. Za produkcijski rad koji zahtijeva komercijalna prava, Pro razina po $35/mjesec predstavlja razumnu ulaznu cijenu za ovako novu sposobnost.

Zašto prostorna inteligencija ima značaj

"Prostorna inteligencija je odlučujući izazov sljedećeg desetljeća." - Fei-Fei Li

Li tvrdi da trenutačni AI ima temeljno ograničenje: loše rasuđuje o 3D prostoru. Jezični modeli haluciniraju fiziku. Video modeli stvaraju nemoguće geometrije. Generatori slika se bore s konzistentnim prostornim odnosima.

✗Trenutačni pristupi

Video modeli generiraju sekvence okvira bez pravog 3D razumijevanja. Pokreti kamere otkrivaju nedosljednosti. Objekti mijenjaju položaj ili nestaju.

✓Prostorna inteligencija

Izvorna 3D reprezentacija omogućuje fizički konzistentne svjetove. Pomičite kameru slobodno. Okruženje opstaje jer postoji kao geometrija, ne pikseli.

Za robotiku je to iznimno važno. Robot koji navigira kuhinjom treba prostorno razumijevanje, ne predviđanje okvira. Za VFX, redateljima trebaju istraživa okruženja, ne fiksne putanje kamera.

Slučajevi uporabe koji se oblikuju

Igranje Generirajte ambijentalna okruženja i pozadinske prostore. Nezavisni programeri mogu stvoriti istraživa područja koja bi zahtijevala mjesece tradicionalne umjetničke produkcije.

Vizualni efekti Predviđanje postaje interaktivno. Skicirajte scenu prostorno, zatim istražite kutove kamere prije obvezivanja na snimke.

Arhitektura Pretvorite tlocrte u istražive obilaze. Klijenti doživljavaju prostore prije početka gradnje.

Obrazovanje Li zamišlja studente kako hodaju unutar stanice, kirurge koji vježbaju unutar anatomskih simulacija.

Proširenje svijeta i Composer način rada

Dvije značajke rješavaju ograničenja veličine:

Proširenje svijeta omogućuje vam da jednom proširite generirani svijet, dodajući detalje rubnim regijama gdje se kvaliteta obično degradira. To pomiče granice istraživog prostora izvan početnih ograničenja generiranja.

Composer način rada kombinira više svjetova u veća okruženja. Generirajte pojedinačne sobe, zatim ih spojite u potpunu zgradu.

Ovi alati priznaju trenutačna ograničenja dok pružaju praktična rješenja.

Konkurentski krajolik

Marble ulazi u prepuno polje:

Proizvod	Pristup	Diferencijator
Decart Oasis	Generiranje igara u realnom vremenu	Interaktivno, ali svjetovi se mijenjaju tijekom istraživanja
Google Genie	Generiranje svjetova igara	Predviđanje okvira bez pravog 3D
Odyssey	Postojani modeli svijeta	Fokus na poslovanje
World Labs Marble	Statično 3D generiranje	Preuzimljivo, uređivljivo, VR-spremno

Kompromis je jasan. Modeli u realnom vremenu poput Oasisa nude neposrednost ali nestabilnost. Marble daje prednost postojanosti i mogućnosti uređivanja nad interaktivnošću.

Povezivanje s generiranjem videa

💡

Za pozadinu o difuzijskim arhitekturama korištenim u prostornom AI, pogledajte naš tehnički pregled difuzijskih transformatora.

Kako se generiranje 3D svijeta odnosi na video? Dijele matematičke temelje u difuzijskim modelima, ali rješavaju različite probleme.

Generiranje videa stvara vremenske sekvence, okvir po okvir. Prostorni AI stvara geometrijske reprezentacije, površine i volumene. Video odgovara "što se događa sljedeće?" Prostorni AI odgovara "što ovdje postoji?"

Točka konvergencije: navigabilni video. Generirajte 3D svijet, zatim renderirajte video dok se krećete kroz njega. Ovaj pristup nudi kontrolu kamere nemoguću s čistim generiranjem videa.

Ograničenja koja treba razmotriti

Marble nije potpuno rješenje:

○Nema animiranih likova ili dinamičnih elemenata
○Ograničenja generiranja mogu ograničiti produkcijske tijekove rada
○Degradacija rubova zahtijeva prolaze proširenja
○Samo statična okruženja

Za animirani sadržaj još uvijek trebate modele generiranja videa. Marble izvrsno radi s okruženjima i prostorima, ne s glumcima ili akcijama.

Veća slika

Fei-Fei Li vidi prostornu inteligenciju kao bitnu za napredak AI:

"Mislim da svi mi imamo odgovornost u uvođenju AI-a u bolje stanje kako postaje moćniji. Svi bismo trebali željeti da čovječanstvo pobijedi i napreduje."

Njena vizija nadilazi zabavu. Medicinske simulacije gdje studenti istražuju anatomiju. Znanstvene vizualizacije gdje istraživači navigiraju molekularnim strukturama. Robotička okruženja za trening generirana na zahtjev.

Marble je prvi korak, komercijalni dokaz koncepta. Istraživanje se nastavlja prema dinamičnijem, interaktivnijem i fizički točnijem generiranju svjetova.

Početak rada

World Labs nudi besplatnu razinu s 4 generiranja mjesečno. Dovoljno za procjenu tehnologije i razumijevanje njezinih ograničenja.

Za kreatore koji već rade u 3D, mogućnost izvoza mreže integrira se s postojećim cjevovodima. Za video producente, izvoz videa pruža mogućnosti predviđanja nedostupne drugdje.

💡

Povezano čitanje: Naš vodič za konzistentnost likova u AI videu pokriva tehnike za održavanje koherentnosti kroz generirani sadržaj, izazov koji Marble rješava kroz postojanu 3D reprezentaciju.

Prijelaz od 2D generiranja prema stvaranju 3D svjetova predstavlja temeljnu promjenu u onome što AI može proizvesti. Marble čini tu promjenu dostupnom.