World Labs Marble: Fei-Fei Li térbeli intelligencia víziója

Az ImageNet-től a világmodellekig

Fei-Fei Li forradalmasította a számítógépes látást az ImageNet-tel, azzal az adathalmazsal, amely lehetővé tette a modern mély tanulást. Most, miután egy évet töltött a World Labs építésével 230 millió dollár finanszírozással, elindította a Marble-t, a vállalat első kereskedelmi termékét.

A tézis egyszerű: az AI meghódította a szöveget, aztán a képeket, aztán a videót. A következő határ a térbeli intelligencia, a képesség a 3D világok érzékelésére, generálására és interakciójára.

Mit csinál a Marble

A Marble perzisztens, letölthető 3D környezeteket generál több bemenet típusból:

• ✓Szöveges promptok
• ✓Egyedi képek
• ✓Videók
• ✓Panorámák
• ✓3D elrendezések

A valós idejű világmodellek versenytársaitól, mint a Decart Oasis vagy a Google Genie, eltérően a Marble stabil világokat hoz létre minimális morfingolással. Egyszer generálsz, aztán szabadon felfedezel anélkül, hogy az AI "elfelejtené", mit alkotott.

A Chisel szerkesztő

Ez a hibrid megközelítés különbözteti meg a Marble-t a szöveg-jelenet modellektől. Ahelyett, hogy remélnéd, hogy az AI megérti térbeli szándékodat, explicit módon definiálod a geometriát. Az AI kezeli az esztétikát, az anyagokat és a világítást.

Gondolj rá úgy, mintha egy alaprajzot vázolnál, mielőtt megkérsz egy belsőépítészt a dekorálásra. A térbeli kapcsolatok feletti ellenőrzés a tiéd marad.

Exportformátumok és kompatibilitás

A generált világok három formátumban exportálhatók:

Árstruktúra

A World Labs négy szintet kínál:

Az ingyenes szint lehetővé teszi a technológia értékelését. A kereskedelmi jogokat igénylő produkciós munkához a Pro szint $35/hóban ésszerű belépési árat jelent egy ilyen új képességhez.

Miért számít a térbeli intelligencia

Li azt állítja, hogy a jelenlegi AI-nak alapvető korlátja van: rosszul érvel a 3D térről. A nyelvi modellek hallucinálják a fizikát. A videómodellek lehetetlen geometriákat hoznak létre. A képgenerátorok küzdenek a konzisztens térbeli kapcsolatokkal.

A robotika számára ez óriási jelentőséggel bír. Egy konyhában navigáló robotnak térbeli megértésre van szüksége, nem képkocka-előrejelzésre. A VFX esetében a rendezőknek felfedezhető környezetekre van szükségük, nem rögzített kameraútvonalakra.

Kialakuló felhasználási esetek

Világbővítés és Composer mód

Két funkció foglalkozik a skála korlátaival:

A világbővítés lehetővé teszi, hogy egyszer kiterjeszd a generált világot, részleteket adva hozzá a szélső régiókhoz, ahol a minőség jellemzően romlik. Ez kitolја a felfedezhető tér határait az eredeti generálási korlátokon túl.

A Composer mód több világot kombinál nagyobb környezetekké. Generálj egyedi szobákat, majd fűzd őket össze egy teljes épületté.

Ezek az eszközök elismerik a jelenlegi korlátokat, miközben gyakorlati megoldásokat nyújtanak.

A versenytársak tája

A Marble zsúfolt mezőbe lép:

A kompromisszum világos. A valós idejű modellek, mint az Oasis, azonnaliságot kínálnak, de instabilitást. A Marble a perzisztenciát és a szerkeszthetőséget helyezi előtérbe az interaktivitással szemben.

Kapcsolódás a videógeneráláshoz

Hogyan kapcsolódik a 3D világgenerálás a videóhoz? Megosztják a matematikai alapokat a diffúziós modellekben, de különböző problémákat oldanak meg.

A videógenerálás időbeli szekvenciákat hoz létre, képkockáról képkockára. A térbeli AI geometriai reprezentációkat hoz létre, felületeket és térfogatokat. A videó azt válaszolja meg, "mi történik ezután?" A térbeli AI azt válaszolja meg, "mi létezik itt?"

A konvergenciapont: navigálható videó. Generálj egy 3D világot, majd renderelj videót, ahogy átmozogsz rajta. Ez a megközelítés olyan kamerakontrollt kínál, amely lehetetlen tisztán videógenerálással.

Mérlegelendő korlátok

A Marble nem teljes megoldás:

• ○Nincsenek animált karakterek vagy dinamikus elemek
• ○A generálási korlátok korlátozhatják a produkciós munkafolyamatokat
• ○A szélromlás bővítési meneteket igényel
• ○Csak statikus környezetek

Animált tartalomhoz még mindig videógenerálási modellekre van szükséged. A Marble környezetekben és terekben jeleskedik, nem színészekben vagy akciókban.

A nagyobb kép

Fei-Fei Li a térbeli intelligenciát létfontosságúnak látja az AI fejlődéséhez:

Víziója túlmutat a szórakoztatáson. Orvosi szimulációk, ahol a diákok felfedezik az anatómiát. Tudományos vizualizációk, ahol a kutatók molekuláris struktúrákon navigálnak. Robotikus képzési környezetek igény szerint generálva.

A Marble az első lépés, egy kereskedelmi koncepció bizonyítása. A kutatás folytatódik a dinamikusabb, interaktívabb és fizikailag pontosabb világgenerálás felé.

Kezdés

A World Labs ingyenes szintet kínál havi 4 generálással. Elég a technológia értékeléséhez és korlátainak megértéséhez.

A már 3D-ben dolgozó alkotók számára a mesh exportálási képesség integrálódik a meglévő csővezetékekkel. A videóproducerek számára a videó export olyan előzetes vizualizációs képességeket nyújt, amelyek máshol nem elérhetők.

A 2D generálásról a 3D világalkotásra való átmenet alapvető változást jelent abban, amit az AI képes előállítani. A Marble ezt a változást teszi hozzáférhetővé.