NeFut Logo NeFut
EN 管理员登录

[AI学术] 结果监视器:针对静默工具故障的恢复机制

发布于:2026-08-21 22:00 最后更新:2026-08-22 11:02
#AI #Machine Learning #LLM

当工具调用超时,智能体只能感知到失败,却无法直接获取错误信息。传统做法是让调用返回一个缓存的错误页面或负价,以符合预期格式并被当作事实使用。本文提出 结果监视器(Outcome Monitors),它们通过从任务不相交的执行轨迹中挖掘或从公开模式中推导的 结果合约 来检测违背。当监视器捕获到违约时,会保留原始结果并生成一份非约束性收据,其中列出被违背的属性以及可用的公共恢复工具。

在预设的冻结评估环境中,我们向四种模型(两家提供商的两套模型)注入故障并使用 ToolMaze 基准进行测试。结果显示,使用结果监视器后完成率从 10.9% 提升至 28.1%。在 tau-bench 零售基准的两个层级上,完成率分别提升了 14.0 和 12.0 分。

对照实验表明:若移除恢复工具列表,提升效果消失;重新加入则恢复提升;诊断细节和响应时延对结果无显著影响。提升主要集中在故障阻断完成的情形。使用一套来源于已发表事故分类法的测试集时,超出挖掘词汇表的检测率降至 46%,但交付仍然继续,整体完成率未变。恢复工具本身即为收据的核心内容,如何在合约词汇之外实现检测仍是待解问题。

博主点评:结果监视器通过显式的合约检查和可恢复的收据机制,为 LLM 驱动的工具使用提供了实用的安全网。实验验证了其在多模型、多任务上的有效性,尤其在故障频发的工具链中表现突出。未来工作若能扩展合约词汇的覆盖范围,或许能进一步提升检测率和系统鲁棒性。

原文链接: https://arxiv.org/abs/2608.19303

[h] 返回首页