LLM 代理通过调用 Web 服务代表用户完成任务,但在交互过程中常会出现错误,导致执行中断甚至任务失败。传统做法是外部系统立即介入纠正错误,然而代理往往能够在后续步骤中自行恢复,这就提出了一个关键问题:到底应当何时介入,何时应当等待自我恢复?
我们构建了 ReInBench,该数据集收录了 1,259 条代理执行轨迹,涵盖 1,403 起错误事件,任务类型包括本地计算和 Web 操作。基于此数据集,我们系统评估了以下几个维度:
- 代理自我恢复的频率与时长。结果显示,有 725 起错误(约 52%)能够在数步之内自行恢复,恢复速度在不同执行 LLM 之间存在显著差异。
- 自我恢复对后续执行的影响。自我恢复不仅提升了后续错误的成功率,还显著提高了整体任务完成率。
- 能否在错误出现时预测其是否会自我恢复。我们发现错误类型、上下文信息以及执行 LLM 的特征均可用于预测。
基于上述发现,我们提出 ReCoF(Recovery‑oriented Classification Framework),该方法在错误发生时预测其是否会自我恢复,从而决定是否需要外部干预。实验表明,ReCoF 在 ReInBench 上相较于最强基线提升了 9.02% 的 Macro‑F1。代码与数据已公开:https://method-notes.github.io/ReCoF/。
点评:本研究通过大规模实证数据揭示了 LLM 代理自我恢复的普遍性与局限,为构建更智能的干预策略提供了可量化的依据。ReCoF 的预测框架展示了在实际系统中实现“只在必要时介入”的可行路径,为未来的自动化任务执行系统奠定了基础。