CraftStory Model 2.0: Khuếch tán hai chiều mở khóa video AI 5 phút như thế nào

Vấn đề thời lượng không ai giải quyết được

Điều về các mô hình video AI hiện tại: chúng là vận động viên chạy nước rút, không phải chạy marathon. Tạo ra tám giây cảnh quay tuyệt đẹp, sau đó cố gắng mở rộng, và bạn sẽ nhận được thứ tương đương trực quan của trò chơi truyền tin nhầm. Lỗi tích lũy. Nhân vật trôi dạt. Mọi thứ tan rã.

Cách tiếp cận truyền thống hoạt động như sau: tạo một đoạn, sử dụng vài khung hình cuối làm ngữ cảnh cho đoạn tiếp theo, ghép chúng lại với nhau. Vấn đề? Lỗi tích lũy. Tư thế tay hơi lạ ở đoạn một trở thành một đốm kỳ lạ đến đoạn năm.

Khuếch tán hai chiều: Đổi mới kiến trúc

Giải pháp của CraftStory lật ngược cách tiếp cận điển hình. Thay vì tạo tuần tự và hy vọng điều tốt nhất, họ chạy nhiều công cụ khuếch tán nhỏ hơn đồng thời trên toàn bộ dòng thời gian video.

Hãy nghĩ về nó như viết tiểu thuyết so với phác thảo nó. Tạo tuần tự giống như viết trang một, sau đó trang hai, sau đó trang ba, không có khả năng quay lại. Cách tiếp cận của CraftStory giống như có một dàn ý mà chương mười có thể thông báo những gì cần xảy ra ở chương hai.

Model 2.0 thực sự hoạt động như thế nào

Hiện tại, CraftStory Model 2.0 là hệ thống video-to-video. Bạn cung cấp một hình ảnh và một video điều khiển, và nó tạo ra đầu ra mà người trong hình ảnh của bạn thực hiện các chuyển động từ video điều khiển.

• ✓Tải lên hình ảnh tham chiếu (chủ thể của bạn)
• ✓Cung cấp video điều khiển (mẫu chuyển động)
• ✓Mô hình tổng hợp hiệu suất
• ○Text-to-video sắp có trong bản cập nhật tương lai

Hệ thống đồng bộ môi nổi bật. Cung cấp cho nó một kịch bản hoặc bản âm thanh, và nó tạo ra các chuyển động miệng phù hợp. Thuật toán căn chỉnh cử chỉ riêng biệt đồng bộ hóa ngôn ngữ cơ thể với nhịp điệu lời nói và tông cảm xúc. Kết quả? Video mà người đó thực sự trông như đang nói những từ đó, không chỉ đập hàm.

Đầu ra: Bạn thực sự nhận được gì

Tạo mất khoảng 15 phút cho clip 30 giây độ phân giải thấp. Điều đó chậm hơn so với tạo gần như ngay lập tức mà một số mô hình cung cấp, nhưng sự đánh đổi là đầu ra dạng dài mạch lạc thay vì các mảnh đẹp không kết nối.

Tại sao điều này quan trọng đối với người sáng tạo

Rào cản 5 phút không phải là tùy ý. Đó là ngưỡng mà video AI trở nên hữu ích cho nội dung thực tế.

Hầu hết nội dung video kinh doanh nằm trong phạm vi 2-5 phút. Demo sản phẩm. Module đào tạo. Video giải thích. Truyền thông nội bộ. Đây là nơi CraftStory trở nên phù hợp cho các trường hợp sử dụng chuyên nghiệp.

Bối cảnh cạnh tranh

CraftStory đã huy động được 2 triệu đô la vốn hạt giống do Andrew Filev, người sáng lập Wrike và Zencoder, dẫn đầu. Điều đó khiêm tốn so với hàng tỷ đô la chảy vào OpenAI và Google, nhưng nó đủ để chứng minh công nghệ.

Khả năng text-to-video đang được phát triển. Một khi điều đó ra mắt, đề xuất giá trị trở nên rõ ràng hơn: mô tả video 5 phút bằng văn bản, nhận đầu ra mạch lạc mà không bị suy giảm chất lượng từng khung hình làm phiền các công cụ khác.

Tiếp theo là gì

Tính năng lộ trình▼

CraftStory đã công bố một số khả năng sắp tới:

• Text-to-video: Tạo từ lời nhắc mà không cần video điều khiển
• Camera di động: Pan, zoom và theo dõi cảnh quay
• Đi và nói: Chủ thể di chuyển trong không gian khi nói

Cách tiếp cận khuếch tán hai chiều không chỉ là một thủ thuật của CraftStory. Đó là một mô hình mà các nhóm khác có thể sẽ áp dụng. Một khi bạn giải quyết vấn đề "lỗi tích lũy về phía trước", tạo dài hơn trở thành thách thức kỹ thuật hơn là rào cản cơ bản.

Bức tranh toàn cảnh

Chúng ta đang xem video AI trải qua giai đoạn tuổi teen khó xử của nó. Các mô hình có thể tạo ra các clip 10 giây tuyệt đẹp, nhưng yêu cầu chúng duy trì tính mạch lạc trong nhiều phút và chúng tan rã. Cách tiếp cận hai chiều của CraftStory là một câu trả lời cho vấn đề đó.

Câu hỏi thực sự: mất bao lâu cho đến khi kỹ thuật này được các công ty lớn hơn áp dụng? OpenAI, Google và Runway đều có nguồn lực để triển khai các kiến trúc tương tự. Lợi thế của CraftStory là đầu tiên ra thị trường với tạo dạng dài hoạt động.

Hiện tại, nếu bạn cần nội dung video AI nhiều phút nhất quán với chủ thể con người, CraftStory vừa trở thành trò chơi duy nhất trong thị trấn. Rào cản thời lượng chưa bị phá vỡ, nhưng ai đó vừa tạo ra một vết nứt nghiêm trọng trong đó.