李飞飞发布:全球首个多模态世界模型
李飞飞团队World Labs发布全球首个多模态世界模型Atlas。该模型基于多模态自回归扩散Transformer架构,支持文本、图像、视频、3D深度图等多种数据类型,能实现像素级相机控制生成、3D场景重建及时空模拟。仅需一张图片即可生成最高1440p、1分钟视频,并可输出显式3D表示,效果优于专业重建模型。在机器人领域,Atlas支持Real-to-Sim工作流,通过少量照片即可生成逼真RGB和深度数据,用于模拟训练。该模型同时具备文本生成图像及360°全景图能力。研究团队表示,Atlas能力随规模扩大持续提升,现已开放早期访问申请。World Labs计划将其作为未来Marble等产品的底层模型。
本文摘要由千智坊基于公开报道整理,查看完整内容:阅读原文(量子位)→
