本研究聚焦于 Agent 与工具之间的交互失效,尤其是当工具调用表面成功但返回的数据不完整或功能缺失,且系统未向用户或 Agent 发出任何提示的“静默失败”。我们在 ToolUniverse 环境中选取 15 种科学工具及其 API 文档和包装层,实现了一套审计机制,用以捕捉此类失效。
审计框架围绕七个失效位置展开,分别定位于请求构造、参数传递、API 调用、包装层处理、结果解析、后处理以及输出呈现。通过 LLM 辅助的候选发现与自动化测试相结合,手工验证后共计发现 91 起静默失败,其中缺失字段或数据、搜索/过滤/排序标准不一致最为常见。层级分布显示,API 层占 51 起,包装层占 25 起,表明上游失效易在下游被放大,最终导致看似合理的科学结果。
基于这些观察,我们提出“上下文可靠性”概念,主张在整个 Agent‑Tool 流程中引入显式的可靠性度量。具体措施包括:在 API 与包装层加入完整性校验与异常标记;对关键返回字段实施 schema 验证;构建监控仪表盘实时追踪失效传播;以及在 Agent 决策环节加入失效感知的回退策略。通过这些机制,可在失效发生时及时通知用户或触发补救流程,降低静默失效的风险。
点评