World Labs Marble: Визија просторне интелигенције Феи-Феи Ли

Истраживачица која је дала машинама способност да виде сада их учи да замишљају целе светове. Са World Labs Marble, Феи-Феи Ли чини следећи корак изван генерисања видеа ка постојаним, истраживим 3D окружењима.

Од ImageNet-а до модела света

💡

За контекст како се модели света уклапају у еволуцију АИ видеа, погледајте наш преглед модела света као следеће границе.

Феи-Феи Ли је револуционирала рачунарски вид са ImageNet-ом, скупом података који је омогућио модерно дубоко учење. Сада, након године изградње World Labs са финансирањем од 230 милиона долара, лансирала је Marble, први комерцијални производ компаније.

Теза је једноставна: вештачка интелигенција је освојила текст, затим слике, затим видео. Следећа граница је просторна интелигенција, способност перципирања, генерисања и интеракције са 3D световима.

$230M

Прикупљено финансирање

Ценовни нивои

Изворни излаз

Шта Marble ради

Marble генерише постојана, преузимљива 3D окружења из више типова улаза:

✓Текстуални упити
✓Појединачне слике
✓Видео снимци
✓Панораме
✓3D распореди

За разлику од модела света у реалном времену конкурената попут Decart Oasis или Google Genie, Marble ствара стабилне светове са минималним морфингом. Генеришете једном, затим истражујете слободно без да вештачка интелигенција "заборави" шта је створила.

Уређивач Chisel

🔨

АИ-нативно 3D уређивање

Chisel раздваја просторну структуру од визуелног стила. Прво скицирајте распоред, затим примените текстуално стилско усмеравање.

Овај хибридни приступ издваја Marble од модела текст-у-сцену. Уместо надања да ће вештачка интелигенција разумети вашу просторну намеру, експлицитно дефинишете геометрију. Вештачка интелигенција се бави естетиком, материјалима и осветљењем.

Замислите то као скицирање основе пре него што замолите дизајнера ентеријера за декорацију. Контрола над просторним односима остаје ваша.

Формати извоза и компатибилност

Генерисани светови се извозе у три формата:

Формат	Случај употребе
Гаусови сплатови	Рендеровање у реалном времену, нови погледи
Мреже	Играчки engine-и, CAD интеграција
Видео снимци	Креирање садржаја, пре-визуализација

💡

Сви Marble светови су VR-компатибилни са Vision Pro и Quest 3 слушалицама одмах из кутије.

Структура цена

World Labs нуди четири нивоа:

Ниво	Цена	Генерисања	Кључне карактеристике
Free	$0	4/месец	Текст, слика или панорамски унос
Standard	$20/месец	12/месец	Више слика/видео унос, напредно уређивање
Pro	$35/месец	25/месец	Проширење сцене, комерцијална права
Max	$95/месец	75/месец	Све карактеристике, максимално генерисања

Бесплатни ниво вам омогућава процену технологије. За продукцијски рад који захтева комерцијална права, Pro ниво по $35/месец представља разумну улазну цену за овако нову способност.

Зашто просторна интелигенција има значај

"Просторна интелигенција је одлучујући изазов следеће деценије." - Феи-Феи Ли

Ли тврди да тренутна вештачка интелигенција има темељно ограничење: лоше расуђује о 3D простору. Језички модели халуцинирају физику. Видео модели стварају немогуће геометрије. Генератори слика се боре са конзистентним просторним односима.

✗Тренутни приступи

Видео модели генеришу секвенце оквира без правог 3D разумевања. Покрети камере откривају недоследности. Објекти мењају положај или нестају.

✓Просторна интелигенција

Изворна 3D репрезентација омогућава физички конзистентне светове. Померајте камеру слободно. Окружење опстаје јер постоји као геометрија, не пиксели.

За роботику је то изузетно важно. Робот који навигира кухињом треба просторно разумевање, не предвиђање оквира. За VFX, редитељима требају истражива окружења, не фиксне путање камера.

Случајеви употребе који се обликују

Играње Генеришите амбијентална окружења и позадинске просторе. Независни програмери могу створити истражива подручја која би захтевала месеце традиционалне уметничке продукције.

Визуелни ефекти Предвиђање постаје интерактивно. Скицирајте сцену просторно, затим истражите углове камере пре обавезивања на снимке.

Архитектура Претворите основе у истраживе обиласке. Клијенти доживљавају просторе пре почетка градње.

Образовање Ли замишља студенте како ходају унутар ћелије, хирурге који вежбају унутар анатомских симулација.

Проширење света и Composer режим рада

Две карактеристике решавају ограничења величине:

Проширење света вам омогућава да једном проширите генерисани свет, додајући детаље рубним регионима где се квалитет типично деградира. То помера границе истраживог простора изван почетних ограничења генерисања.

Composer режим рада комбинује више светова у већа окружења. Генеришите појединачне собе, затим их спојите у потпуну зграду.

Ови алати признају тренутна ограничења док пружају практична решења.

Конкурентски пејзаж

Marble улази у препуно поље:

Производ	Приступ	Диференцијатор
Decart Oasis	Генерисање игара у реалном времену	Интерактивно, али светови се мењају током истраживања
Google Genie	Генерисање светова игара	Предвиђање оквира без правог 3D
Odyssey	Постојани модели света	Фокус на пословање
World Labs Marble	Статично 3D генерисање	Преузимљиво, уредљиво, VR-спремно

Компромис је јасан. Модели у реалном времену попут Oasis-а нуде непосредност али нестабилност. Marble даје предност постојаности и могућности уређивања над интерактивношћу.

Повезивање са генерисањем видеа

💡

За позадину о дифузијским архитектурама коришћеним у просторној вештачкој интелигенцији, погледајте наш технички преглед дифузијских трансформатора.

Како се генерисање 3D света односи на видео? Деле математичке темеље у дифузијским моделима, али решавају различите проблеме.

Генерисање видеа ствара временске секвенце, оквир по оквир. Просторна вештачка интелигенција ствара геометријске репрезентације, површине и волумене. Видео одговара "шта се дешава следеће?" Просторна вештачка интелигенција одговара "шта овде постоји?"

Тачка конвергенције: навигацијски видео. Генеришите 3D свет, затим рендерујте видео док се крећете кроз њега. Овај приступ нуди контролу камере немогућу са чистим генерисањем видеа.

Ограничења која треба размотрити

Marble није потпуно решење:

○Нема анимираних ликова или динамичних елемената
○Ограничења генерисања могу ограничити продукцијске токове рада
○Деградација рубова захтева пролазе проширења
○Само статична окружења

За анимирани садржај још увек требате моделе генерисања видеа. Marble извесно ради са окружењима и просторима, не са глумцима или акцијама.

Већа слика

Феи-Феи Ли види просторну интелигенцију као битну за напредак вештачке интелигенције:

"Мислим да сви ми имамо одговорност у увођењу вештачке интелигенције у боље стање како постаје моћнија. Сви би требало да желимо да човечанство победи и напредује."

Њена визија превазилази забаву. Медицинске симулације где студенти истражују анатомију. Научне визуализације где истраживачи навигирају молекуларним структурама. Роботска окружења за тренинг генерисана на захтев.

Marble је први корак, комерцијални доказ концепта. Истраживање се наставља ка динамичнијем, интерактивнијем и физички прецизнијем генерисању светова.

Почетак рада

World Labs нуди бесплатни ниво са 4 генерисања месечно. Довољно за процену технологије и разумевање њених ограничења.

За креаторе који већ раде у 3D, могућност извоза мрежа се интегрише са постојећим цевоводима. За видео продуценте, извоз видеа пружа могућности предвиђања недоступне другде.

💡

Повезано читање: Наш водич за конзистентност ликова у АИ видеу покрива технике за одржавање кохерентности кроз генерисани садржај, изазов који Marble решава кроз постојану 3D репрезентацију.

Прелаз од 2D генерисања ка стварању 3D светова представља темељну промену у ономе што вештачка интелигенција може произвести. Marble чини ту промену доступном.