NeFut Logo NeFut
EN 管理员登录

[AI学术] 何时介入?LLM 代理错误与自我恢复的实证研究

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#Machine Learning #LLM #Artificial Intelligence

LLM 代理通过调用 Web 服务代表用户完成任务,但在交互过程中常会出现错误,导致执行中断甚至任务失败。传统做法是外部系统立即介入纠正错误,然而代理往往能够在后续步骤中自行恢复,这就提出了一个关键问题:到底应当何时介入,何时应当等待自我恢复?

我们构建了 ReInBench,该数据集收录了 1,259 条代理执行轨迹,涵盖 1,403 起错误事件,任务类型包括本地计算和 Web 操作。基于此数据集,我们系统评估了以下几个维度:

  1. 代理自我恢复的频率与时长。结果显示,有 725 起错误(约 52%)能够在数步之内自行恢复,恢复速度在不同执行 LLM 之间存在显著差异。
  2. 自我恢复对后续执行的影响。自我恢复不仅提升了后续错误的成功率,还显著提高了整体任务完成率。
  3. 能否在错误出现时预测其是否会自我恢复。我们发现错误类型、上下文信息以及执行 LLM 的特征均可用于预测。

基于上述发现,我们提出 ReCoF(Recovery‑oriented Classification Framework),该方法在错误发生时预测其是否会自我恢复,从而决定是否需要外部干预。实验表明,ReCoF 在 ReInBench 上相较于最强基线提升了 9.02% 的 Macro‑F1。代码与数据已公开:https://method-notes.github.io/ReCoF/。

点评:本研究通过大规模实证数据揭示了 LLM 代理自我恢复的普遍性与局限,为构建更智能的干预策略提供了可量化的依据。ReCoF 的预测框架展示了在实际系统中实现“只在必要时介入”的可行路径,为未来的自动化任务执行系统奠定了基础。

原文链接: https://arxiv.org/abs/2610.36471

[h] 返回首页