在解决多步骤任务时，大型语言模型（LLM）代理往往会承诺无望的轨迹，然而在失败显现之前，它们仍会消耗大量推理计算资源。
我们表明，代理内部的表示能够早期预测失败：通过对隐藏激活进行轻量级的每轮探测，可以在第一次交互轮次就预测最终的任务失败，而仅依赖代理可观察行为的评分器，其预测效果几乎与随机猜测无异。
我们将这一信号转化为一种实用的中止级联：每轮一个无分布校准的门控，联合搜索每轮的召回预算，以确保最终成功的任务能够以用户指定的全局比例通过所有门控。这一任务级别的保证在实际部署中至关重要，因为在多层门控中，误中止的风险会累积。
在 TextCraft 上的两个代理模型中，该级联成功达成了从 90% 到 97% 的所有召回目标，并且在 90% 的目标下，分别节省了 47.1% +/- 10.3%（Qwen-2.5-7B）和 37.2% +/- 8.8%（Llama-3.2-3B）的推理计算，相比最佳单门控策略提高了 1.6 到 1.7 倍。
与之相同的级联仅依赖行为数据时，节省的计算量大约减半，而为探测增加行为特征并没有带来额外收益：隐藏状态已捕获了行为所揭示的所有信息。
最后，我们刻画了证明高召回目标的样本复杂度，告诉实践者他们的数据可以以及不能支持哪些召回承诺。代码将很快发布。
博主点评： 本文提出的召回控制探测级联方法有效预测 LLM 代理的失败，显著提高了计算资源的使用效率。其在实际应用中的潜力不容小觑，尤其在节省成本和提升性能方面。关键在于如何平衡召回率与计算效率，为未来的 LLM 应用提供了重要参考。