在街道上行走的机器人，周围围观的人们对此感到惊讶，这种场景日益普遍。然而，这些机器尚未成为我们期望的厨房或工厂助手，数据的缺乏是一个主要瓶颈。正如人类一样，机器人通过经验学习最佳，但在不同环境中教会这些机器许多动作是劳动密集型和耗时的。麻省理工学院的Russ Tedrake教授指出：“一个自然的想法是利用模拟作为训练场。”虽然近年来在驱动机器人模拟器的物理引擎方面取得了显著进展，但创建足够丰富和多样的模拟内容以捕捉现实世界的复杂性仍然是一个挑战。
AI代理，即那些“思考”和完成明确任务的半自主程序，可以帮助生成机器人所需的逼真虚拟环境。麻省理工学院CSAIL和丰田研究所的研究人员开发的新“SceneSmith”系统使用三个代理来拼接对象、墙壁和3D场景的整体外观。它对餐馆、卧室和酒店等室内空间的重建比以往系统更真实、更详细，帮助机器人在开机前练习技能和尝试不同的任务方式，从而节省了工程师的现实世界测试时间。
这些代理通过调用一种称为视觉-语言模型（VLM）的多模态系统，具体是最先进的VLM GPT-5.2，来获取日常场所的外观知识。第一个“设计师”代理生成场景元素，随后“评论者”评估其现实性，最后“协调者”管理二者的互动，决定设计何时完成。一旦三个VLM完成创作协作，场景就可以直接加载到物理模拟软件中。
“我们发现，该系统能够以人类设计师的方式构建3D场景，”麻省理工学院EECS博士生Nicholas Pfaff表示。研究人员使用领先的VLM创建了1300多个场景，展现出惊人的创造力和多样性。用户可以要求SceneSmith生成“一个车库，里面有一辆车、一个工作台、角落堆放的轮胎和靠墙的梯子”，从而得到一个丰富的虚拟游乐场，供机器人进行操作。这些房间的物品数量比以往方法多出六倍，非常适合帮助机器人学习诸如将杯子放入水槽、将水果放在盘子上以及将苏打罐从架子上移动到桌子上的技能。
研究人员在SceneSmith的数字世界中测试了不同的行动计划，生成了100个独特的空间。每次尝试都有一个VLM代理进行评估，发现机器人的计划存在缺陷，常常无法完成任务。人类对模型的判断超过99%的时间达成一致，这将帮助机器人研究人员在机器人进入现实世界之前筛选出错误的方法。
然而，这些虚拟世界的现实性到底如何？研究人员从多个角度探讨了这个问题。最具说服力的测试是将一个预训练的机器人策略——主要基于真实世界数据训练的AI控制器，投入生成的环境。在一次测试中，用户指示系统“从碗中拿出苹果并放到切菜板上”，模拟机器人准确执行了这一操作。如果场景与策略学习的真实环境不相似，机器人根本无法成功。研究团队还通过远程操控机器人在虚拟空间中导航，指导其打开橱柜、放置瓶子和在房间之间移动。实验表明，这些环境在持续的物理交互下保持稳定，超出了视觉检查的范围。
SceneSmith使用的代理在生成过程中各司其职，逐步完善场景。以创建房子的第一层为例，“设计师”VLM首先给出一般布局，随后“评论者”进行审查，最后“协调者”签字。代理们对每一步重复这种方法：添加家具、在墙壁和天花板上放置物体，最后放入机器人可以操作的物体。例如，VLM们可以添加机器人可以打开和关闭的橱柜——这类活动物品在以往的基准中并不常见。在每个阶段，第二个VLM确保场景的实用性，例如建议将浴缸从客厅中移除。第三个VLM确保生成高质量场景，即使在视觉效果不达标时也会让设计过程回退几步。
完成创作协作后，通过模拟软件添加物理世界的机制。凭借对房间外观、物体位置和现实世界物理的深入理解，SceneSmith相较于以往方法具有明显优势。与“HSM”和“Holodeck”等场景生成基准相比，SceneSmith创造了更多物体的环境，包括私人办公室、陶艺商店，甚至是Minecraft主题的游戏室。SceneSmith也受到了200多名用户的青睐，他们发现系统的视觉效果在90%以上的时间里更为真实，并且普遍认为它更紧密地遵循提示。
尽管生成单个3D物体的过程较慢，但SceneSmith在真实感、多样性和丰富性方面表现出色。用户可以要求它创建一个滚动的服务推车，系统会生成一个2D图像，然后将其转化为具有质量、摩擦和惯性等物理属性的详细模型。该过程虽然耗时，但如果拥有更多计算能力，系统的效率可能会显著提高。CSAIL的工程师们也希望能扩展到可变形物体（如海绵），前提是能够获得丰富的3D库。
“SceneSmith在这方面代表了一次重大进展，通过简单的文本提示提供了生成模拟就绪室内环境的代理框架，”亚马逊机器人应用科学家Jeremy Binagia表示。他指出，该系统在多个方面推动了技术的进步，包括提升模拟环境中物体密度的极限，确保所有物体的物理准确性（而不仅仅是视觉上的真实），并且生成的资产不受固定库的限制，因为它们可以通过文本生成3D。
Pfaff和Tedrake与Thomas Cohn、丰田研究所的机器人专家Sergey Zakharov和Rick Cory共同撰写了这篇论文，研究得到了亚马逊、美国海军研究办公室、丰田研究所和美国国家科学基金会的部分支持。研究团队在上周的国际机器学习会议上展示了他们的发现。