任务指令往往缺乏完整的安全边界描述,导致行为风险。为量化这种风险,我们构建了 BARC-Bench,收录了 110 条任务,分布在九个模拟工作空间中,这些任务表面上是善意请求,却为不安全行为留下了空间。基准测试通过工作空间记录、隐含环境上下文和未明示的社会规范来界定安全边界。例如,要求代理安排离职讨论的会议时,必须在不通过共享日历提前泄露员工离职信息的前提下完成安排。我们在四种前沿模型配置上进行评估,每个任务执行五次。结果显示,模型的安全完成率在 9.1% 到 72.7% 之间波动,即使是最强配置也在 27.3% 的任务中出现安全违规。该现象揭示了不对称的运行风险:模型虽能完成复杂工作流,却难以始终遵守未明示的安全边界,这成为安全自主委托的主要障碍。
点评