World Labs Marble: Vizija prostorne inteligencije Fei-Fei Li

Istraživačica koja je dala mašinama sposobnost da vide sada ih uči da zamišljaju cele svetove. Sa World Labs Marble, Fei-Fei Li čini sledeći korak izvan generisanja videa ka postojanim, istraživim 3D okruženjima.

Od ImageNet-a do modela sveta

💡

Za kontekst kako se modeli sveta uklapaju u evoluciju AI videa, pogledajte naš pregled modela sveta kao sledeće granice.

Fei-Fei Li je revolucionirala računarski vid sa ImageNet-om, skupom podataka koji je omogućio moderno duboko učenje. Sada, nakon godine izgradnje World Labs sa finansiranjem od 230 miliona dolara, lansirala je Marble, prvi komercijalni proizvod kompanije.

Teza je jednostavna: veštačka inteligencija je osvojila tekst, zatim slike, zatim video. Sledeća granica je prostorna inteligencija, sposobnost percipiranja, generisanja i interakcije sa 3D svetovima.

$230M

Prikupljeno finansiranje

Cenovni nivoi

Izvorni izlaz

Šta Marble radi

Marble generiše postojana, preuzimljiva 3D okruženja iz više tipova ulaza:

✓Tekstualni upiti
✓Pojedinačne slike
✓Video snimci
✓Panorame
✓3D rasporedi

Za razliku od modela sveta u realnom vremenu konkurenata poput Decart Oasis ili Google Genie, Marble stvara stabilne svetove sa minimalnim morfingom. Generišete jednom, zatim istražujete slobodno bez da veštačka inteligencija "zaboravi" šta je stvorila.

Uređivač Chisel

🔨

AI-nativno 3D uređivanje

Chisel razdvaja prostornu strukturu od vizuelnog stila. Prvo skicirajte raspored, zatim primenite tekstualno stilsko usmeravanje.

Ovaj hibridni pristup izdvaja Marble od modela tekst-u-scenu. Umesto nadanja da će veštačka inteligencija razumeti vašu prostornu nameru, eksplicitno definišete geometriju. Veštačka inteligencija se bavi estetikom, materijalima i osvetljenjem.

Zamislite to kao skiciranje osnove pre nego što zamolite dizajnera enterijera za dekoraciju. Kontrola nad prostornim odnosima ostaje vaša.

Formati izvoza i kompatibilnost

Generisani svetovi se izvoze u tri formata:

Format	Slučaj upotrebe
Gausovi splatovi	Renderovanje u realnom vremenu, novi pogledi
Mreže	Igrački engine-i, CAD integracija
Video snimci	Kreiranje sadržaja, pre-vizualizacija

💡

Svi Marble svetovi su VR-kompatibilni sa Vision Pro i Quest 3 slušalicama odmah iz kutije.

Struktura cena

World Labs nudi četiri nivoa:

Nivo	Cena	Generisanja	Ključne karakteristike
Free	$0	4/mesec	Tekst, slika ili panoramski unos
Standard	$20/mesec	12/mesec	Više slika/video unos, napredno uređivanje
Pro	$35/mesec	25/mesec	Proširenje scene, komercijalna prava
Max	$95/mesec	75/mesec	Sve karakteristike, maksimalno generisanja

Besplatni nivo vam omogućava procenu tehnologije. Za produkcijski rad koji zahteva komercijalna prava, Pro nivo po $35/mesec predstavlja razumnu ulaznu cenu za ovako novu sposobnost.

Zašto prostorna inteligencija ima značaj

"Prostorna inteligencija je odlučujući izazov sledeće decenije." - Fei-Fei Li

Li tvrdi da trenutna veštačka inteligencija ima temeljno ograničenje: loše rasuđuje o 3D prostoru. Jezički modeli haluciniraju fiziku. Video modeli stvaraju nemoguće geometrije. Generatori slika se bore sa konzistentnim prostornim odnosima.

✗Trenutni pristupi

Video modeli generišu sekvence okvira bez pravog 3D razumevanja. Pokreti kamere otkrivaju nedoslednosti. Objekti menjaju položaj ili nestaju.

✓Prostorna inteligencija

Izvorna 3D reprezentacija omogućava fizički konzistentne svetove. Pomerajte kameru slobodno. Okruženje opstaje jer postoji kao geometrija, ne pikseli.

Za robotiku je to izuzetno važno. Robot koji navigira kuhinjom treba prostorno razumevanje, ne predviđanje okvira. Za VFX, rediteljima trebaju istraživa okruženja, ne fiksne putanje kamera.

Slučajevi upotrebe koji se oblikuju

Igranje Generišite ambijentalna okruženja i pozadinske prostore. Nezavisni programeri mogu stvoriti istraživa područja koja bi zahtevala mesece tradicionalne umetničke produkcije.

Vizuelni efekti Predviđanje postaje interaktivno. Skicirajte scenu prostorno, zatim istražite uglove kamere pre obavezivanja na snimke.

Arhitektura Pretvorite osnove u istražive obilaske. Klijenti doživljavaju prostore pre početka gradnje.

Obrazovanje Li zamišlja studente kako hodaju unutar ćelije, hirurge koji vežbaju unutar anatomskih simulacija.

Proširenje sveta i Composer režim rada

Dve karakteristike rešavaju ograničenja veličine:

Proširenje sveta vam omogućava da jednom proširite generisani svet, dodajući detalje rubnim regionima gde se kvalitet tipično degradira. To pomera granice istraživog prostora izvan početnih ograničenja generisanja.

Composer režim rada kombinuje više svetova u veća okruženja. Generišite pojedinačne sobe, zatim ih spojite u potpunu zgradu.

Ovi alati priznaju trenutna ograničenja dok pružaju praktična rešenja.

Konkurentski pejzaž

Marble ulazi u prepuno polje:

Proizvod	Pristup	Diferencijator
Decart Oasis	Generisanje igara u realnom vremenu	Interaktivno, ali svetovi se menjaju tokom istraživanja
Google Genie	Generisanje svetova igara	Predviđanje okvira bez pravog 3D
Odyssey	Postojani modeli sveta	Fokus na poslovanje
World Labs Marble	Statično 3D generisanje	Preuzimljivo, uredljivo, VR-spremno

Kompromis je jasan. Modeli u realnom vremenu poput Oasis-a nude neposrednost ali nestabilnost. Marble daje prednost postojanosti i mogućnosti uređivanja nad interaktivnošću.

Povezivanje sa generisanjem videa

💡

Za pozadinu o difuzijskim arhitekturama korišćenim u prostornoj veštačkoj inteligenciji, pogledajte naš tehnički pregled difuzijskih transformatora.

Kako se generisanje 3D sveta odnosi na video? Dele matematičke temelje u difuzijskim modelima, ali rešavaju različite probleme.

Generisanje videa stvara vremenske sekvence, okvir po okvir. Prostorna veštačka inteligencija stvara geometrijske reprezentacije, površine i volumene. Video odgovara "šta se dešava sledeće?" Prostorna veštačka inteligencija odgovara "šta ovde postoji?"

Tačka konvergencije: navigacijski video. Generišite 3D svet, zatim renderujte video dok se krećete kroz njega. Ovaj pristup nudi kontrolu kamere nemoguću sa čistim generisanjem videa.

Ograničenja koja treba razmotriti

Marble nije potpuno rešenje:

✓Nema animiranih likova ili dinamičnih elemenata
✓Ograničenja generisanja mogu ograničiti produkcijske tokove rada
✓Degradacija rubova zahteva prolaze proširenja
✓Samo statična okruženja

Za animirani sadržaj još uvek trebate modele generisanja videa. Marble izvesno radi sa okruženjima i prostorima, ne sa glumcima ili akcijama.

Veća slika

Fei-Fei Li vidi prostornu inteligenciju kao bitnu za napredak veštačke inteligencije:

"Mislim da svi mi imamo odgovornost u uvođenju veštačke inteligencije u bolje stanje kako postaje moćnija. Svi bi trebalo da želimo da čovečanstvo pobedi i napreduje."

Njena vizija prevazilazi zabavu. Medicinske simulacije gde studenti istražuju anatomiju. Naučne vizualizacije gde istraživači navigiraju molekularnim strukturama. Robotska okruženja za trening generisana na zahtev.

Marble je prvi korak, komercijalni dokaz koncepta. Istraživanje se nastavlja ka dinamičnijem, interaktivnijem i fizički preciznijem generisanju svetova.

Početak rada

World Labs nudi besplatni nivo sa 4 generisanja mesečno. Dovoljno za procenu tehnologije i razumevanje njenih ograničenja.

Za kreatore koji već rade u 3D, mogućnost izvoza mreža se integriše sa postojećim cevovodima. Za video producente, izvoz videa pruža mogućnosti predviđanja nedostupne drugde.

💡

Povezano čitanje: Naš vodič za konzistentnost likova u AI videu pokriva tehnike za održavanje koherentnosti kroz generisani sadržaj, izazov koji Marble rešava kroz postojanu 3D reprezentaciju.

Prelaz od 2D generisanja ka stvaranju 3D svetova predstavlja temeljnu promenu u onome što veštačka inteligencija može proizvesti. Marble čini tu promenu dostupnom.