World Labs Marble: החזון של פיי-פיי לי למודיעין מרחבי

החוקרת שנתנה למכונות את היכולת לראות עכשיו מלמדת אותן לדמיין עולמות שלמים. עם World Labs Marble, פיי-פיי לי עושה את הצעד הבא מעבר ליצירת וידאו לסביבות תלת-ממדיות קבועות וניתנות לחקירה.

מ-ImageNet למודלי עולמות

💡

להקשר על איך מודלי עולמות משתלבים בהתפתחות הווידאו של AI, תראו את סקירת מודלי העולמות כגבול הבא.

פיי-פיי לי חוללה מהפכה בראייה ממוחשבת עם ImageNet, מאגר הנתונים שאיפשר למידה עמוקה מודרנית. עכשיו, אחרי שנה של בניית World Labs עם מימון של 230 מיליון דולר, היא השיקה את Marble, המוצר המסחרי הראשון של החברה.

התזה פשוטה: AI כבשה טקסט, אחר כך תמונות, אחר כך וידאו. הגבול הבא הוא מודיעין מרחבי, היכולת לתפוס, לייצר ולהתקשר עם עולמות תלת-ממדיים.

$230 מיליון

מימון שגויס

רמות מחירים

פלט מקורי

מה Marble עושה

Marble מייצר סביבות תלת-ממדיות קבועות וניתנות להורדה מכמה סוגי קלט:

✓פרומפטים טקסטואליים
✓תמונות בודדות
✓סרטוני וידאו
✓פנורמות
✓פריסות תלת-ממדיות

בניגוד למודלי עולמות בזמן אמת מהמתחרים כמו Decart's Oasis או Google's Genie, Marble יוצר עולמות יציבים עם עיוותים מינימליים. אתה מייצר פעם אחת, ואז חוקר בחופשיות בלי שה-AI "שוכח" מה יצר.

עורך Chisel

🔨

עריכת 3D מקורית ב-AI

Chisel מפריד מבנה מרחבי מסגנון ויזואלי. תכנן את הפריסה קודם, ואז החל הנחיית סגנון מבוססת טקסט.

הגישה ההיברידית הזו מבדילה את Marble ממודלי טקסט לסצנה. במקום לקוות שה-AI מבין את הכוונה המרחבית שלך, אתה מגדיר את הגיאומטריה במפורש. ה-AI מטפל באסתטיקה, חומרים ותאורה.

תחשבו על זה כמו לשרטט תכנית קומה לפני לבקש ממעצב פנים לעצב. השליטה על יחסים מרחביים נשארת שלך.

פורמטים של ייצוא ותאימות

עולמות שנוצרו מיוצאים בשלושה פורמטים:

פורמט	מקרה שימוש
Gaussian Splats	רינדור בזמן אמת, תצוגות חדשות
Meshes	מנועי משחקים, אינטגרציה עם CAD
Videos	יצירת תוכן, הדמיה מוקדמת

💡

כל עולמות Marble תואמים VR עם Vision Pro ו-Quest 3 מהקופסה.

מבנה מחירים

World Labs מציעה ארבע רמות:

רמה	מחיר	יצירות	פיצ'רים עיקריים
חינם	0$	4/חודש	קלט טקסט, תמונה או פנורמה
רגיל	20$/חודש	12/חודש	קלט תמונות/וידאו מרובות, עריכה מתקדמת
Pro	35$/חודש	25/חודש	הרחבת סצנה, זכויות מסחריות
Max	95$/חודש	75/חודש	כל הפיצ'רים, מקסימום יצירות

הרמה החינמית נותנת לך להעריך את הטכנולוגיה. לעבודת פרודקשן שדורשת זכויות מסחריות, רמת ה-Pro ב-35$/חודש מהווה מחיר כניסה סביר ליכולת כל כך חדשנית.

למה מודיעין מרחבי חשוב

"מודיעין מרחבי הוא האתגר המגדיר של העשור הבא." - פיי-פיי לי

לי טוענת שלבינה מלאכותית נוכחית יש הגבלה בסיסית: היא חושבת גרוע על מרחב תלת-ממדי. מודלי שפה הוזים פיזיקה. מודלי וידאו יוצרים גיאומטריות בלתי אפשריות. גנרטורים של תמונות מתקשים עם יחסים מרחביים עקביים.

✗גישות נוכחיות

מודלי וידאו מייצרים רצפי פריימים בלי הבנה תלת-ממדית אמיתית. תנועות מצלמה חושפות אי-עקביות. אובייקטים משנים מיקום או נעלמים.

✓מודיעין מרחבי

ייצוג תלת-ממדי מקורי מאפשר עולמות עקביים פיזית. תזיזו את המצלמה בחופשיות. הסביבה נמשכת כי היא קיימת כגיאומטריה, לא פיקסלים.

לרובוטיקה, זה חשוב מאוד. רובוט שמנווט במטבח צריך הבנה מרחבית, לא חיזוי פריימים. לאפקטים ויזואליים, במאים צריכים סביבות ניתנות לחקירה, לא מסלולי מצלמה קבועים.

מקרי שימוש שמתגבשים

גיימינג יצירת סביבות אמביינט ומרחבי רקע. מפתחים אינדי יכולים ליצור אזורי חקירה שדורשים חודשים של ייצור אמנות מסורתי.

אפקטים ויזואליים הדמיה מוקדמת הופכת אינטראקטיבית. תכננו סצנה מרחבית, ואז חקרו זוויות מצלמה לפני להתחייב לשוטים.

אדריכלות המרת תוכניות קומה לסיורים ניתנים לחקירה. לקוחות חווים מרחבים לפני התחלת בנייה.

חינוך לי מדמיינת סטודנטים הולכים בתוך תא, מנתחים מתרגלים בתוך סימולציות אנטומיות.

הרחבת עולם ומצב Composer

שני פיצ'רים מטפלים במגבלות סקייל:

הרחבת עולם נותן לך להרחיב עולם שנוצר פעם אחת, להוסיף פרטים לאזורי קצה שבהם איכות בדרך כלל מתדרדרת. זה דוחף את הגבולות של מרחב ניתן לחקירה מעבר למגבלות יצירה ראשונית.

מצב Composer משלב כמה עולמות לסביבות גדולות יותר. תייצרו חדרים בודדים, ואז תפרו אותם לבניין שלם.

הכלים האלה מכירים במגבלות נוכחיות תוך מתן פתרונות מעשיים.

נוף התחרות

Marble נכנס לשטח צפוף:

מוצר	גישה	מבדל
Decart Oasis	יצירת משחק בזמן אמת	אינטראקטיבי, אבל עולמות משתנים במהלך חקירה
Google Genie	יצירת עולם משחק	חיזוי פריים בלי תלת-ממד אמיתי
Odyssey	מודלי עולמות קבועים	פוקוס ארגוני
World Labs Marble	יצירת תלת-ממד סטטי	ניתן להורדה, ניתן לעריכה, מוכן ל-VR

הטרייד-אוף ברור. מודלים בזמן אמת כמו Oasis מציעים מיידיות אבל חוסר יציבות. Marble נותן עדיפות לקביעות ויכולת עריכה על פני אינטראקטיביות.

חיבור ליצירת וידאו

💡

לרקע על ארכיטקטורות דיפוזיה שמשמשות ב-AI מרחבי, תראו את סקירת הדיפוזיה טרנספורמרים.

איך יצירת עולם תלת-ממדי קשורה לוידאו? הם חולקים בסיסים מתמטיים במודלי דיפוזיה, אבל פותרים בעיות שונות.

יצירת וידאו יוצרת רצפים זמניים, פריים אחרי פריים. AI מרחבי יוצר ייצוגים גיאומטריים, משטחים ונפחים. וידאו עונה "מה קורה הלאה?" AI מרחבי עונה "מה קיים פה?"

נקודת ההתכנסות: וידאו ניתן לניווט. תייצרו עולם תלת-ממדי, ואז תרנדרו וידאו בזמן שאתם נעים דרכו. הגישה הזו מציעה שליטה במצלמה בלתי אפשרית עם יצירת וידאו טהורה.

מגבלות לשקול

Marble הוא לא פתרון שלם:

○בלי דמויות מונפשות או אלמנטים דינמיים
○מגבלות יצירה עשויות להגביל זרימות עבודה בפרודקשן
○דרדור קצה דורש מעברי הרחבה
○סביבות סטטיות בלבד

לתוכן מונפש, אתם עדיין צריכים מודלי יצירת וידאו. Marble מצטיין בסביבות ומרחבים, לא שחקנים או פעולות.

התמונה הגדולה

פיי-פיי לי רואה מודיעין מרחבי כהכרחי להתקדמות AI:

"אני חושבת שלכולנו יש אחריות להוביל את ה-AI למצב טוב יותר ככל שהוא הופך חזק יותר. כולנו צריכים לרצות שהאנושות תנצח ותשגשג."

החזון שלה משתרע מעבר לבידור. סימולציות רפואיות שבהן סטודנטים חוקרים אנטומיה. ויזואליזציות מדעיות שבהן חוקרים מנווטים במבנים מולקולריים. סביבות אימון רובוטיות שנוצרות לפי דרישה.

Marble הוא שלב אחד, הוכחת קונספט מסחרית. המחקר ממשיך לעבר יצירת עולמות יותר דינמית, אינטראקטיבית ומדויקת פיזית.

איך מתחילים

World Labs מציעה רמה חינמית עם 4 יצירות לחודש. מספיק כדי להעריך את הטכנולוגיה ולהבין את המגבלות שלה.

ליוצרים שכבר עובדים בתלת-ממד, יכולת ייצוא ה-mesh משתלבת עם פייפליינים קיימים. למפיקי וידאו, ייצוא הוידאו מספק יכולות הדמיה מוקדמת שלא זמינות במקום אחר.

💡

קריאה קשורה: המדריך שלנו לעקביות דמויות בוידאו AI מכסה טכניקות לשמירה על קוהרנטיות על פני תוכן מיוצר, אתגר ש-Marble מטפל בו דרך ייצוג תלת-ממדי קבוע.

המעבר מיצירה דו-ממדית ליצירת עולם תלת-ממדי מייצג שינוי בסיסי במה ש-AI יכול לייצר. Marble הופך את השינוי הזה נגיש.