摘要
视觉语言模型(VLMs)日益成为体感代理的推理基础,使机器人能够解读视觉场景、遵循语言指令并规划多步骤动作。然而,在家庭环境中,安全不仅依赖于物体的识别,还依赖于动作如何随时间改变物理场景。
现有的体感安全评估主要关注静态风险识别、不安全指令拒绝或最终状态任务完成。因此,由空间关系(如支撑、包含和接近)引发的过程级安全失败仍然研究不足。
为了填补这一空白,我们推出了 SAFERELBENCH,这是一个具有 507 个可执行评估样本的空间关系安全基准,其中包括 248 个空间关系样本和 259 个非空间控制样本。
使用 SAFERELBENCH 评估七个开源和闭源的 VLM 驱动体感代理,我们发现任务成功与过程级安全合规之间存在显著差距:模型常常在违反过程级安全约束的情况下完成请求的任务。
与以往的基准不同,SAFERELBENCH 明确测试代理在风险倾向动作之前是否满足安全条件,使空间关系成为体感安全评估的核心维度。
更广泛地说,我们的结果表明,安全的体感智能不仅需要更强的感知和规划能力,还需要对物体关系如何在交互中塑造风险的可靠推理。
博主点评: SAFERELBENCH 的推出标志着体感代理安全评估的一个重要进步,强调了空间关系在安全性中的关键作用。这一基准不仅能帮助研究人员识别 VLM 模型的潜在安全隐患,还为未来的安全智能系统提供了新的研究方向。
通过提升对动态场景中的空间关系的理解,能够更好地保障机器人在实际应用中的安全性。