Alexis· DI autorius, peržiūrėjo žmogusWorld Labs Marble: Fei-Fei Li erdvinio intelekto vizija
DI pradininkė Fei-Fei Li pristato Marble, komercinę platformą, kuri iš teksto ir vaizdų generuoja tyrinėjamus 3D pasaulius, žyminčius naują erdvinio DI etapą.
Nuo ImageNet iki pasaulio modelių
Norėdami suprasti, kaip pasaulio modeliai įsilieja į DI vaizdo įrašų evoliuciją, žr. mūsų pasaulio modelių kaip kitos ribos apžvalgą.
Fei-Fei Li sukėlė revoliuciją kompiuterinės regos srityje su ImageNet, duomenų rinkiniu, kuris leido atsirasti šiuolaikiniam giliajam mokymuisi. Dabar, metus kūrusi World Labs ir pritraukusi $230 million finansavimą, ji pristatė Marble, pirmąjį komercinį bendrovės produktą.
Tezė paprasta: DI įveikė tekstą, tada vaizdus, o vėliau ir vaizdo įrašus. Kita riba yra erdvinis intelektas, gebėjimas suvokti, generuoti ir sąveikauti su 3D pasauliais.
Ką daro Marble
Marble generuoja patvarias, atsisiunčiamas 3D aplinkas iš kelių tipų įvesčių:
- ✓Tekstiniai raginimai
- ✓Pavieniai vaizdai
- ✓Vaizdo įrašai
- ✓Panoramos
- ✓3D išdėstymai
Skirtingai nei konkurentų, tokių kaip Decart Oasis ar Google Genie, realaus laiko pasaulio modeliai, Marble kuria stabilius pasaulius su minimaliomis deformacijomis. Sugeneruojate vieną kartą, tada laisvai tyrinėjate, DI „nepamirštant“, ką sukūrė.
Chisel redaktorius
Vietinis DI 3D redagavimas
Chisel atskiria erdvinę struktūrą nuo vizualinio stiliaus. Pirmiausia išdėstykite planą, tada pritaikykite tekstines stiliaus gaires.
Šis hibridinis metodas išskiria Marble iš teksto į sceną modelių. Užuot tikėjęsi, kad DI supras jūsų erdvinį ketinimą, geometriją apibrėžiate aiškiai. DI rūpinasi estetika, medžiagomis ir apšvietimu.
Įsivaizduokite tai kaip grindų plano eskizavimą prieš paprašant interjero dizainerio dekoruoti. Erdviniai ryšiai lieka jūsų valioje.
Eksporto formatai ir suderinamumas
Sugeneruoti pasauliai eksportuojami trimis formatais:
| Formatas | Naudojimo atvejis |
|---|---|
| Gauso splatai | Realiojo laiko atvaizdavimas, nauji vaizdo taškai |
| Tinkleliai | Žaidimų varikliai, CAD integracija |
| Vaizdo įrašai | Turinio kūrimas, išankstinė vizualizacija |
Visi Marble pasauliai iš karto suderinami su VR Vision Pro ir Quest 3 akiniais.
Kainodaros struktūra
World Labs siūlo keturis planus:
| Planas | Kaina | Generavimai | Pagrindinės funkcijos |
|---|---|---|---|
| Nemokamas | $0 | 4/mėn. | Teksto, vaizdo arba panoramos įvestis |
| Standard | $20/mėn. | 12/mėn. | Kelių vaizdų ir vaizdo įrašų įvestis, pažangus redagavimas |
| Pro | $35/mėn. | 25/mėn. | Scenos plėtimas, komercinės teisės |
| Max | $95/mėn. | 75/mėn. | Visos funkcijos, didžiausias generavimų skaičius |
Nemokamas planas leidžia įvertinti technologiją. Produkciniams darbams, kuriems reikalingos komercinės teisės, Pro planas už $35/mėn. yra pagrįsta pradinė kaina už tokią naują galimybę.
Kodėl erdvinis intelektas svarbus
„Erdvinis intelektas yra pagrindinis ateinančio dešimtmečio iššūkis.“ - Fei-Fei Li
Li teigia, kad dabartinis DI turi esminį apribojimą: jis prastai samprotauja apie 3D erdvę. Kalbos modeliai haliucinuoja fiziką. Vaizdo modeliai kuria neįmanomas geometrijas. Vaizdų generatoriams sunku išlaikyti nuoseklius erdvinius ryšius.
Robotikai tai turi milžinišką reikšmę. Virtuvėje judančiam robotui reikia erdvinio supratimo, o ne kadrų numatymo. Vaizdo efektams režisieriams reikia tyrinėjamų aplinkų, o ne fiksuotų kameros trajektorijų.
Ryškėjantys naudojimo atvejai
Žaidimai Generuokite aplinkos ir fono erdves. Nepriklausomi kūrėjai gali kurti tyrinėjimo zonas, kurioms tradicinėje meno gamyboje reikėtų mėnesių.
Vizualieji efektai Išankstinė vizualizacija tampa interaktyvi. Erdviškai išdėstykite sceną, tada tyrinėkite kameros kampus prieš įsipareigodami kadrams.
Architektūra Paverskite grindų planus tyrinėjamais virtualiais pasivaikščiojimais. Klientai patiria erdves dar neprasidėjus statyboms.
Švietimas Li įsivaizduoja mokinius, vaikštančius ląstelės viduje, ir chirurgus, besipraktikuojančius anatominėse simuliacijose.
Pasaulio plėtimas ir Composer Mode
Dvi funkcijos sprendžia mastelio ribotumus:
Pasaulio plėtimas leidžia vieną kartą išplėsti sugeneruotą pasaulį, pridedant detalių kraštinėse srityse, kur kokybė paprastai prastėja. Tai praplečia tyrinėjamos erdvės ribas už pradinių generavimo limitų.
Composer Mode sujungia kelis pasaulius į didesnes aplinkas. Sugeneruokite atskirus kambarius, tada sujunkite juos į pilną pastatą.
Šie įrankiai pripažįsta dabartinius apribojimus ir kartu suteikia praktiškus sprendimus.
Konkurencinė aplinka
Marble patenka į perpildytą sritį:
| Produktas | Metodas | Skiriamasis bruožas |
|---|---|---|
| Decart Oasis | Realaus laiko žaidimų generavimas | Interaktyvus, tačiau pasauliai kinta tyrinėjant |
| Google Genie | Žaidimų pasaulių generavimas | Kadrų numatymas be tikro 3D |
| Odyssey | Patvarūs pasaulio modeliai | Orientuotas į įmones |
| World Labs Marble | Statinis 3D generavimas | Atsisiunčiamas, redaguojamas, paruoštas VR |
Kompromisas aiškus. Realaus laiko modeliai, tokie kaip Oasis, siūlo betarpiškumą, bet yra nestabilūs. Marble teikia pirmenybę patvarumui ir redaguojamumui, o ne interaktyvumui.
Ryšys su vaizdo įrašų generavimu
Norėdami sužinoti apie erdviniame DI naudojamas difuzijos architektūras, žr. mūsų techninę difuzijos transformerių apžvalgą.
Kaip 3D pasaulių generavimas susijęs su vaizdo įrašais? Jų matematiniai pagrindai, difuzijos modeliai, yra bendri, tačiau jie sprendžia skirtingas problemas.
Vaizdo įrašų generavimas kuria laiko sekas, kadrą po kadro. Erdvinis DI kuria geometrinius vaizdavimus, paviršius ir tūrius. Vaizdo įrašas atsako į klausimą „kas vyks toliau?“. Erdvinis DI atsako į klausimą „kas čia egzistuoja?“.
Susiliejimo taškas: naviguojamas vaizdo įrašas. Sugeneruokite 3D pasaulį, tada atvaizduokite vaizdo įrašą judėdami per jį. Šis metodas suteikia kameros valdymą, neįmanomą naudojant vien vaizdo įrašų generavimą.
Apribojimai, į kuriuos reikia atsižvelgti
Marble nėra visapusiškas sprendimas:
- ✓Nėra animuotų personažų ar dinamiškų elementų
- ✓Generavimo ribos gali apriboti produkcinius darbo procesus
- ✓Kraštų kokybės prastėjimui reikalingi plėtimo etapai
- ✓Tik statinės aplinkos
Animuotam turiniui vis dar reikia vaizdo įrašų generavimo modelių. Marble puikiai tinka aplinkoms ir erdvėms, bet ne aktoriams ar veiksmams.
Platesnis vaizdas
Fei-Fei Li laiko erdvinį intelektą būtinu DI pažangai:
„Manau, kad visi esame atsakingi už tai, kad DI pereitų į geresnę būseną, nes jis tampa galingesnis. Visi turėtume norėti, kad žmonija vyrautų ir klestėtų.“
Jos vizija apima ne vien pramogas. Medicinines simuliacijas, kuriose studentai tyrinėja anatomiją. Mokslines vizualizacijas, kuriose tyrėjai naršo molekulines struktūras. Pagal poreikį generuojamas robotų mokymo aplinkas.
Marble yra pirmasis žingsnis, komercinis koncepcijos įrodymas. Tyrimai tęsiami siekiant dinamiškesnio, interaktyvesnio ir fiziškai tikslesnio pasaulių generavimo.
Kaip pradėti
World Labs siūlo nemokamą planą su 4 generavimais per mėnesį. To pakanka įvertinti technologiją ir suprasti jos apribojimus.
Kūrėjams, jau dirbantiems su 3D, tinklelio eksportavimo galimybė integruojasi į esamus procesus. Vaizdo įrašų prodiuseriams vaizdo eksportas suteikia kitur neprieinamas išankstinės vizualizacijos galimybes.
Susijęs skaitinys: mūsų DI vaizdo įrašų personažų nuoseklumo vadove aptariamos technikos, padedančios išlaikyti sugeneruoto turinio darną, o Marble šį iššūkį sprendžia patvariu 3D vaizdavimu.
Perėjimas nuo 2D generavimo prie 3D pasaulių kūrimo yra esminis pokytis to, ką gali sukurti DI. Marble daro šį pokytį prieinamą.
Šaltiniai
DI inžinierius iš Lozanos, derinantis mokslinių tyrimų gilumą su praktinėmis inovacijomis. Laiką dalija tarp modelių architektūrų ir Alpių viršukalnių.
View profile →Patiko tai, ką perskaitėte?
Paverskite savo idėjas neribotos trukmės DI vaizdo įrašais per kelias minutes.
Susiję straipsniai
Tęskite pažintį su šiais susijusiais įrašais
Nemokami neriboti DI vaizdo įrašų įrankiai: kas veikia 2026 m.
Nemokami neriboti DI vaizdo įrankiai dažniausiai yra eilės pagrindu arba vietiniai. Sužinokite, kas iš tikrųjų yra neribota, kas sulėtėja ir kaip pasirinkti veiksmingą 2026 m. sprendimą.
AI vaizdo plėtiklis: pailginkite vaizdo įrašą 2026 m.
Naudokite AI vaizdo plėtiklį, kad pailgintumėte vaizdo įrašą 2026 m. Palyginkite plėtimo ribas, išsaugokite tęstinumą ir pasirinkite darbo eigą su sugeneruotais ar esamais klipais.
Geriausi nemokami teksto į vaizdo įrašą AI įrankiai: 2026 m. vadovas
Palyginkite geriausius nemokamus teksto į vaizdo įrašą AI įrankius 2026 m., įskaitant tikrus kreditų limitus, vandens ženklus, vietinio diegimo kompromisus ir praktinį testavimo planą.