在当今的AI研究中，交互式模拟器已成为训练具身智能体和生成合成视觉数据的重要工具。然而，现有的光真实感模拟器在通用性、可编程性和渲染速度上存在不足。为了解决这些问题，我们推出了SPEAR：一款专为光真实感具身AI研究设计的模拟器。
SPEAR的核心是一个Python库，可以通过模块化插件架构连接并程序化控制任何Unreal Engine (UE) 应用。SPEAR向Python暴露了超过14K个独特的UE函数，这一数量比现有的UE基础模拟器的可编程功能提升了一个数量级。此外，单个SPEAR实例可以以每秒73帧的速度，将1920x1080的光真实感图像直接渲染到用户的NumPy数组中，这一速度比现有的UE插件快了一个数量级。同时，SPEAR还提供了其他现有UE模拟器所不具备的真实图像模式（例如，非漫反射内在图像分解、材质ID和物理基础阴影参数）。
最后，SPEAR引入了一种表达性强的高级编程模型，使用户能够指定复杂的UE工作图，并在工作项之间建立任意的数据依赖关系，从而在单个UE帧内确定性地执行这些图。我们通过多种示例应用展示了SPEAR的实用性：控制具有不同动作空间的多个具身智能体（如人类、汽车和机器人）在多个现实UE项目中；渲染光真实感城市规模环境；操控UE的程序内容生成系统；渲染详细人脸的同步多视图图像；与MuJoCo物理模拟器协调交互式联合仿真；通过AI编码助手用自然语言编辑场景。
博主点评： SPEAR的推出标志着具身AI研究领域的一次重大进展，其强大的可编程性和高效的渲染能力将极大地促进相关应用的发展，尤其是在复杂环境下的智能体控制与交互模拟方面。它为研究人员提供了更灵活的工具，以实现更高层次的AI实验和应用。