NeFut Logo NeFut
EN 管理员登录

[AI学术] 交互式世界模拟:Cosmos 在物理 AI 中的应用

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #Open Source

我们提出了一个共享框架,能够将 Cosmos 世界基础模型用于物理 AI 中的实时交互式世界模拟。框架通过对动作和场景控制的响应,流式传输视觉观测,使用户和具身代理能够与不断演化的虚拟环境进行交互。它既可以预测动作的视觉后果,也可以从外部模拟器维护的物理状态生成观测。我们在相机导航、机器人操作、可控视频迁移以及多视角自动驾驶车辆仿真四个场景中演示了该方法。这些示例为构建用于物理 AI 训练和评估的交互式虚拟环境提供了统一的基础。代码、模型检查点以及项目网站均已公开,方便社区复现与扩展。

点评:该框架通过统一的视觉流和物理状态桥接,显著降低了构建交互式仿真环境的门槛,为物理 AI 的大规模实验提供了可复用的基础设施。

原文链接: https://arxiv.org/abs/2611.06627

[h] 返回首页