World Labs Marble: Tầm Nhìn Trí Tuệ Không Gian của Fei-Fei Li

Từ ImageNet Đến Mô Hình Thế Giới

Fei-Fei Li đã cách mạng hóa thị giác máy tính với ImageNet, bộ dữ liệu giúp deep learning hiện đại trở nên khả thi. Giờ đây, sau một năm xây dựng World Labs với 230 triệu đô la vốn, bà đã ra mắt Marble, sản phẩm thương mại đầu tiên của công ty.

Luận điểm rất đơn giản: AI đã chinh phục văn bản, sau đó là hình ảnh, rồi video. Biên giới tiếp theo là trí tuệ không gian, khả năng cảm nhận, tạo ra và tương tác với thế giới 3D.

Marble Làm Gì

Marble tạo ra các môi trường 3D bền vững, có thể tải xuống từ nhiều loại đầu vào:

• ✓Lời nhắc văn bản
• ✓Hình ảnh đơn
• ✓Video
• ✓Ảnh toàn cảnh
• ✓Bố cục 3D

Không giống như các mô hình thế giới thời gian thực từ đối thủ cạnh tranh như Oasis của Decart hay Genie của Google, Marble tạo ra các thế giới ổn định với biến dạng tối thiểu. Bạn tạo một lần, sau đó khám phá tự do mà không lo AI "quên" những gì nó đã tạo.

Trình Biên Tập Chisel

Cách tiếp cận kết hợp này làm cho Marble khác biệt với các mô hình văn bản sang cảnh. Thay vì hy vọng AI hiểu ý định không gian của bạn, bạn định nghĩa hình học một cách rõ ràng. AI xử lý thẩm mỹ, vật liệu và ánh sáng.

Hãy nghĩ về nó giống như phác thảo sơ đồ mặt bằng trước khi yêu cầu nhà thiết kế nội thất trang trí. Quyền kiểm soát các mối quan hệ không gian vẫn thuộc về bạn.

Định Dạng Xuất và Khả Năng Tương Thích

Các thế giới được tạo xuất ra ba định dạng:

Cấu Trúc Giá

World Labs cung cấp bốn bậc:

Bậc miễn phí cho phép bạn đánh giá công nghệ. Đối với công việc sản xuất yêu cầu quyền thương mại, bậc Pro ở mức 35 đô la/tháng đại diện cho mức giá khởi điểm hợp lý cho một khả năng mới lạ như vậy.

Tại Sao Trí Tuệ Không Gian Quan Trọng

Li cho rằng AI hiện tại có một hạn chế cơ bản: nó suy luận kém về không gian 3D. Các mô hình ngôn ngữ ảo tưởng về vật lý. Các mô hình video tạo ra hình học không thể. Các bộ tạo hình ảnh gặp khó khăn với các mối quan hệ không gian nhất quán.

Đối với robot học, điều này cực kỳ quan trọng. Một robot điều hướng trong nhà bếp cần hiểu biết không gian, không phải dự đoán khung hình. Đối với VFX, đạo diễn cần môi trường có thể khám phá, không phải đường camera cố định.

Các Trường Hợp Sử Dụng Đang Hình Thành

Mở Rộng Thế Giới và Chế Độ Composer

Hai tính năng giải quyết các hạn chế về quy mô:

Mở Rộng Thế Giới cho phép bạn mở rộng một thế giới được tạo một lần, thêm chi tiết vào các vùng cạnh nơi chất lượng thường giảm. Điều này đẩy ranh giới của không gian có thể khám phá vượt ra ngoài giới hạn tạo ban đầu.

Chế Độ Composer kết hợp nhiều thế giới thành môi trường lớn hơn. Tạo từng phòng riêng lẻ, sau đó ghép chúng thành một tòa nhà hoàn chỉnh.

Các công cụ này thừa nhận những hạn chế hiện tại trong khi cung cấp các giải pháp thực tế.

Bối Cảnh Cạnh Tranh

Marble bước vào một lĩnh vực đông đúc:

Sự đánh đổi rõ ràng. Các mô hình thời gian thực như Oasis cung cấp tính tức thời nhưng không ổn định. Marble ưu tiên tính bền vững và khả năng chỉnh sửa hơn tính tương tác.

Kết Nối Với Tạo Video

Tạo thế giới 3D liên quan đến video như thế nào? Chúng chia sẻ nền tảng toán học trong các mô hình khuếch tán, nhưng giải quyết các vấn đề khác nhau.

Tạo video tạo ra chuỗi thời gian, khung hình theo khung hình. AI không gian tạo ra biểu diễn hình học, bề mặt và thể tích. Video trả lời "điều gì xảy ra tiếp theo?" AI không gian trả lời "có gì tồn tại ở đây?"

Điểm hội tụ: video có thể điều hướng. Tạo một thế giới 3D, sau đó kết xuất video khi bạn di chuyển qua nó. Cách tiếp cận này cung cấp điều khiển camera không thể với tạo video thuần túy.

Các Hạn Chế Cần Xem Xét

Marble không phải là giải pháp hoàn chỉnh:

• ○Không có nhân vật hoạt hình hoặc yếu tố động
• ○Giới hạn tạo có thể hạn chế quy trình sản xuất
• ○Suy giảm cạnh yêu cầu các lần mở rộng
• ○Chỉ môi trường tĩnh

Đối với nội dung hoạt hình, bạn vẫn cần các mô hình tạo video. Marble xuất sắc về môi trường và không gian, không phải diễn viên hoặc hành động.

Bức Tranh Lớn Hơn

Fei-Fei Li coi trí tuệ không gian là thiết yếu cho sự tiến bộ của AI:

Tầm nhìn của bà vượt ra ngoài giải trí. Mô phỏng y tế nơi sinh viên khám phá giải phẫu. Khả thi hóa khoa học nơi các nhà nghiên cứu điều hướng cấu trúc phân tử. Môi trường đào tạo robot được tạo theo yêu cầu.

Marble là bước một, bằng chứng khái niệm thương mại. Nghiên cứu tiếp tục hướng tới việc tạo thế giới năng động hơn, tương tác hơn và chính xác hơn về mặt vật lý.

Bắt Đầu

World Labs cung cấp bậc miễn phí với 4 lần tạo mỗi tháng. Đủ để đánh giá công nghệ và hiểu các hạn chế của nó.

Đối với những người sáng tạo đã làm việc với 3D, khả năng xuất lưới tích hợp với quy trình hiện có. Đối với các nhà sản xuất video, xuất video cung cấp khả năng tiền khả thi hóa không có ở nơi khác.

Sự chuyển đổi từ tạo 2D sang tạo thế giới 3D đại diện cho sự thay đổi cơ bản trong những gì AI có thể tạo ra. Marble làm cho sự thay đổi đó trở nên dễ tiếp cận.