NeFut Logo NeFut
EN 管理员登录

[AI学术] PROVISO:基于溯源的安全 LLM 代理动作选择

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#algorithm #AI #LLM

LLM 代理通过工具和第三方技能与外部世界交互,一次错误的动作可能导致不可逆的危害。现有防御仅在动作执行前对其进行单独评估,未区分信息来源是用户指令还是工具输出,也缺乏与可行备选方案的对比,导致安全性与实用性之间的权衡。

PROVISO 作为控制器,在代理提出动作后、执行前决定最终提交哪一动作。它将可信观察、外部观察、提议动作以及备选动作统一映射到溯源类型的记忆结构中,并通过角色特定的查询将这些信息关联。随后,系统依据从历史结果中学习到的校准价值,选择价值最高的动作执行。

在覆盖代理生命周期的四个安全任务上,PROVISO 在安全性和实用性两方面均优于所有基线。具体表现为:在 SkillsBench 基准上提升 F1 13.84 分,在 ToolSafe 上提升 7.07 分,并在另外三个技能检测基准上实现 88‑99 的 F1。

点评

原文链接: https://arxiv.org/abs/2610.27115

[h] 返回首页