NeFut Logo NeFut
EN 管理员登录

[AI学术] Agent-Tool 交互中的静默失败审计

发布于:2026-09-24 22:00 最后更新:2026-09-28 00:49
#AI #Machine Learning #LLM

本研究聚焦于 Agent 与工具之间的交互失效,尤其是当工具调用表面成功但返回的数据不完整或功能缺失,且系统未向用户或 Agent 发出任何提示的“静默失败”。我们在 ToolUniverse 环境中选取 15 种科学工具及其 API 文档和包装层,实现了一套审计机制,用以捕捉此类失效。

审计框架围绕七个失效位置展开,分别定位于请求构造、参数传递、API 调用、包装层处理、结果解析、后处理以及输出呈现。通过 LLM 辅助的候选发现与自动化测试相结合,手工验证后共计发现 91 起静默失败,其中缺失字段或数据、搜索/过滤/排序标准不一致最为常见。层级分布显示,API 层占 51 起,包装层占 25 起,表明上游失效易在下游被放大,最终导致看似合理的科学结果。

基于这些观察,我们提出“上下文可靠性”概念,主张在整个 Agent‑Tool 流程中引入显式的可靠性度量。具体措施包括:在 API 与包装层加入完整性校验与异常标记;对关键返回字段实施 schema 验证;构建监控仪表盘实时追踪失效传播;以及在 Agent 决策环节加入失效感知的回退策略。通过这些机制,可在失效发生时及时通知用户或触发补救流程,降低静默失效的风险。

点评

原文链接: https://arxiv.org/abs/2609.26836

[h] 返回首页