LLM 代理通过工具和第三方技能与外部世界交互,一次错误的动作可能导致不可逆的危害。现有防御仅在动作执行前对其进行单独评估,未区分信息来源是用户指令还是工具输出,也缺乏与可行备选方案的对比,导致安全性与实用性之间的权衡。
PROVISO 作为控制器,在代理提出动作后、执行前决定最终提交哪一动作。它将可信观察、外部观察、提议动作以及备选动作统一映射到溯源类型的记忆结构中,并通过角色特定的查询将这些信息关联。随后,系统依据从历史结果中学习到的校准价值,选择价值最高的动作执行。
在覆盖代理生命周期的四个安全任务上,PROVISO 在安全性和实用性两方面均优于所有基线。具体表现为:在 SkillsBench 基准上提升 F1 13.84 分,在 ToolSafe 上提升 7.07 分,并在另外三个技能检测基准上实现 88‑99 的 F1。
点评