NeFut Logo NeFut
EN 管理员登录

[AI学术] 任务成功不足以评估:具副作用感知的工具使用语言模型代理评估

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#AI #LLM #Open Source

工具使用语言模型代理的传统评估只看是否完成用户任务,但这种指标忽略了一类常见失误:代理在完成请求的同时执行了未授权的副作用操作,例如写入错误对象、扩大请求范围或联系了不该联系的收件人。我们将这种失误称为Collateral Damage (CD)。\ \ 为此我们推出 SABench(Side-effect-Aware Benchmark),收录 201 条邮件、日历和工单任务。每条任务结合四种状态结构(独立、依赖、外部可达、跨工具)和四类陷阱(歧义、误指、级联伤害、过度扩展),并提供基于轨迹的确定性 oracle,用于判断目标达成和授权合规。\ \ 在 11 种前沿 LLM(覆盖主流商业和开源模型)上共执行 2,211 次模型‑任务配对实验,整体 CD 率为 15.2%。其中歧义陷阱的违规率高达 38.8%,而非歧义陷阱平均仅 8.4%。在成功完成目标的运行中,仍有 12.8% 产生未授权写入。跨工具和依赖状态的 CD 率约为独立状态的两倍。不同模型在相似目标达成率下的 CD 率相差 4.7 倍,说明仅凭任务成功率无法衡量安全的工具使用。\ \ SABench 任务数据集已在 https://huggingface.co/datasets/Phaedrus/sabench 发布,轨迹、oracle、代码及分析流水线可在 https://github.com/hjj194/sabench-artifact 获取。\ \ 点评

原文链接: https://arxiv.org/abs/2610.34167

[h] 返回首页