分类准确率以及真阳性、假阳性率本身并不能决定对 AI 代理进行重启是否能提升成功率。本文利用独立的“干净重启”情形下零监控开销的精确报警‑行动等式,解析出即使监控器固定为 90% 准确率,其对整体成功率的影响也可能在 -5% 到 +35% 之间剧烈摆动,这完全取决于剩余预算下的重启尝试成功概率 $p_{\text{budget}}$。
我们提出两种面向决策的评估技术。第一种是 决策充分性准则,它是 Blackwell 实验比较的二元行动特化,用来判断某种进度表示或上下文压缩是否保留了在给定动作集合(继续 vs. 重启)中做最优选择所需的信息,且不依赖于轨迹重建的完整性。
第二种是 有限样本、模型无关的决策审计。该方法在已有的代理执行轨迹上同时构建二项区间,无需额外模型调用,即可在预设抽样假设下对“重启”或“继续”给出认证偏好,若证据不足则返回“弃权”。
在对 19 个来自 SWE‑bench Verified 的 SymPy 任务进行的 194 次外部模型执行实验中(其中 130 条轨迹被回溯审计),我们观察到:
- 单一失败尝试导致的表面重启收益为 +2.29%;
- 第二个模型出现 ‑42.29% 的损失;
- 在后续任务批次中未能复制首次的正向收益;
- 在 103 次实时比较中,没有一次满足认证阈值。
这些结果表明,评估代理监控器应侧重于 恢复机会、决策价值和统计支持,而非单纯的分类性能。
点评