World Labs Marble: Визијата за просторна интелигенција на Феи-Феи Ли

Истражувачката што им даде на машините способност да гледаат сега ги учи да замислуваат цели светови. Со World Labs Marble, Феи-Феи Ли прави следен чекор надвор од генерирањето на видео кон постојани, истражливи 3D околини.

От ImageNet до модели на светот

💡

За контекст како моделите на светот се вклопуваат во еволуцијата на вештачка интелигенција видео, погледнете го нашиот преглед на моделите на светот како следна граница.

Феи-Феи Ли направи револуција во компјутерското гледање со ImageNet, множеството податоци што овозможи модерно длабоко учење. Сега, по година градење на World Labs со финансирање од 230 милиони долари, го лансира Marble, првиот комерцијален производ на компанијата.

Тезата е едноставна: вештачката интелигенција го освои текстот, потоа сликите, потоа видеото. Следната граница е просторната интелигенција, способноста за перципирање, генерирање и интеракција со 3D светови.

$230M

Собрано финансирање

Ценовни нивоа

Изворен излез

Што прави Marble

Marble генерира постојани, преземливи 3D околини од повеќе типови на влезови:

✓Текстуални повици
✓Поединечни слики
✓Видеа
✓Панорами
✓3D распореди

За разлика од моделите на светот во реално време на конкурентите како Decart Oasis или Google Genie, Marble создава стабилни светови со минимален морфинг. Генерирате еднаш, потоа истражувате слободно без вештачката интелигенција да "заборави" што создаде.

Уредникот Chisel

🔨

Вештачка интелигенција-нативно 3D уредување

Chisel ги раздвојува просторната структура од визуелниот стил. Прво скицирајте го распоредот, потоа применете текстуално стилско насочување.

Овој хибриден пристап го разликува Marble од моделите текст-во-сцена. Наместо да се надевате дека вештачката интелигенција ќе ја разбере вашата просторна намера, експлицитно ја дефинирате геометријата. Вештачката интелигенција се грижи за естетиката, материјалите и осветлувањето.

Замислете го тоа како скицирање на основа пред да побарате дизајнер на ентериер за декорација. Контролата над просторните односи останува ваша.

Формати за извоз и компатибилност

Генерираните светови се извезуваат во три формати:

Формат	Случај на употреба
Гаусови сплатови	Рендирање во реално време, нови погледи
Мрежи	Игрални мотори, CAD интеграција
Видеа	Создавање содржина, пред-визуализација

💡

Сите Marble светови се VR-компатибилни со Vision Pro и Quest 3 слушалки веднаш од кутијата.

Структура на цени

World Labs нуди четири нивоа:

Ниво	Цена	Генерирања	Клучни карактеристики
Free	$0	4/месец	Текст, слика или панорамски влез
Standard	$20/месец	12/месец	Повеќе слики/видео влез, напредно уредување
Pro	$35/месец	25/месец	Проширување на сцена, комерцијални права
Max	$95/месец	75/месец	Сите карактеристики, максимум генерирања

Бесплатното ниво ви овозможува да ја проценувате технологијата. За продукциска работа што бара комерцијални права, Pro нивото по $35/месец претставува разумна влезна цена за ваква нова способност.

Зошто просторната интелигенција има значење

"Просторната интелигенција е одлучувачкиот предизвик на следната деценија." - Феи-Феи Ли

Ли тврди дека тековната вештачка интелигенција има фундаментално ограничување: лошо размислува за 3D просторот. Јазичните модели халуцинираат физика. Видео моделите создаваат невозможни геометрии. Генераторите на слики се борат со конзистентни просторни односи.

✗Тековни пристапи

Видео моделите генерираат секвенци на рамки без вистинско 3D разбирање. Движењата на камерата откриваат недоследности. Објектите ја менуваат позицијата или исчезнуваат.

✓Просторна интелигенција

Изворната 3D репрезентација овозможува физички конзистентни светови. Движете ја камерата слободно. Околината опстојува затоа што постои како геометрија, не пиксели.

За роботиката, тоа има огромно значење. Робот што навигира во кујна треба просторно разбирање, не предвидување на рамки. За VFX, режисерите имаат потреба од истражливи околини, не фиксни патеки на камери.

Случаи на употреба што се обликуваат

Игри Генерирајте амбиентални околини и позадински простори. Независните програмери можат да создадат истражливи подрачја што би барале месеци на традиционална уметничка продукција.

Визуелни ефекти Пред-визуализацијата станува интерактивна. Скицирајте сцена просторно, потоа истражете ги аглите на камерата пред да се обврзете на снимки.

Архитектура Претворете ги основите во истражливи обиколки. Клиентите ги доживуваат просторите пред почетокот на градбата.

Образование Ли замислува студенти што одат внатре во клетка, хирурзи што вежбаат внатре во анатомски симулации.

Проширување на светот и Composer режим

Две карактеристики ги решаваат ограничувањата на размер:

Проширување на светот ви овозможува еднаш да го проширите генерираниот свет, додавајќи детали на работните региони каде квалитетот типично се деградира. Тоа ги поместува границите на истражливиот простор надвор од почетните ограничувања на генерирање.

Composer режим комбинира повеќе светови во поголеми околини. Генерирајте поединечни соби, потоа ги спојувате во целосна зграда.

Овие алатки ги признаваат тековните ограничувања додека обезбедуваат практични решенија.

Конкурентски пејзаж

Marble влегува во преполно поле:

Производ	Пристап	Диференцијатор
Decart Oasis	Генерирање игри во реално време	Интерактивно, но световите се менуваат за време на истражувањето
Google Genie	Генерирање светови на игри	Предвидување на рамки без вистинско 3D
Odyssey	Постојани модели на светот	Фокус на бизнис
World Labs Marble	Статично 3D генерирање	Преземливо, уредливо, VR-подготвено

Компромисот е јасен. Моделите во реално време како Oasis нудат непосредност но нестабилност. Marble даваприоритет на постојаноста и можноста за уредување над интерактивноста.

Поврзување со генерирање на видео

💡

За позадина за дифузиските архитектури користени во просторната вештачка интелигенција, погледнете го нашиот технички преглед на дифузиските трансформатори.

Како генерирањето на 3D свет се однесува на видеото? Ги споделуваат математичките основи во дифузиските модели, но решаваат различни проблеми.

Генерирањето на видео создава временски секвенци, рамка по рамка. Просторната вештачка интелигенција создава геометриски репрезентации, површини и волумени. Видеото одговара "што се случува следно?" Просторната вештачка интелигенција одговара "што постои тука?"

Точка на конвергенција: навигациско видео. Генерирајте 3D свет, потоа рендирајте видео додека се движите низ него. Овој пристап нуди контрола на камера невозможна со чисто генерирање на видео.

Ограничувања за разгледување

Marble не е целосно решение:

○Нема анимирани ликови или динамични елементи
○Ограничувањата на генерирање можат да ги ограничат продукциските текови на работа
○Деградацијата на работовите бара проширувачки поминувања
○Само статични околини

За анимирана содржина сè уште ви требаат модели за генерирање на видео. Marble одликува во околини и простори, не во актери или акции.

Поголемата слика

Феи-Феи Ли ја гледа просторната интелигенција како суштинска за напредокот на вештачката интелигенција:

"Мислам дека сите ние имаме одговорност во воведувањето на вештачката интелигенција во подобра состојба како што станува посилна. Сите треба да сакаме човештвото да победи и да напредува."

Нејзината визија надминува забава. Медицински симулации каде студентите истражуваат анатомија. Научни визуализации каде истражувачите навигираат во молекуларни структури. Роботски тренинг околини генерирани на барање.

Marble е прв чекор, комерцијален доказ на концепт. Истражувањето продолжува кон подинамично, поинтерактивно и физички попрецизно генерирање на светови.

Почеток

World Labs нуди бесплатно ниво со 4 генерирања месечно. Доволно за да се процени технологијата и да се разберат нејзините ограничувања.

За креаторите што веќе работат во 3D, можноста за извоз на мрежи се интегрира со постоечките цевководи. За видео продуцентите, извозот на видео обезбедува можности за пред-визуализација недостапни другаде.

💡

Поврзано читање: Нашиот водич за конзистентност на ликови во вештачка интелигенција видео покрива техники за одржување на кохерентност низ генерираната содржина, предизвик што Marble го решава преку постојана 3D репрезентација.

Преодот од 2D генерирање кон создавање 3D светови претставува фундаментална промена во она што вештачката интелигенција може да произведе. Marble ја прави таа промена достапна.