NeFut Logo NeFut
EN 管理员登录

[AI学术] 监控准确率并非答案:用于评估 AI 代理重启监控的决策价值框架

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#algorithm #AI #Machine Learning

分类准确率以及真阳性、假阳性率本身并不能决定对 AI 代理进行重启是否能提升成功率。本文利用独立的“干净重启”情形下零监控开销的精确报警‑行动等式,解析出即使监控器固定为 90% 准确率,其对整体成功率的影响也可能在 -5% 到 +35% 之间剧烈摆动,这完全取决于剩余预算下的重启尝试成功概率 $p_{\text{budget}}$。

我们提出两种面向决策的评估技术。第一种是 决策充分性准则,它是 Blackwell 实验比较的二元行动特化,用来判断某种进度表示或上下文压缩是否保留了在给定动作集合(继续 vs. 重启)中做最优选择所需的信息,且不依赖于轨迹重建的完整性。

第二种是 有限样本、模型无关的决策审计。该方法在已有的代理执行轨迹上同时构建二项区间,无需额外模型调用,即可在预设抽样假设下对“重启”或“继续”给出认证偏好,若证据不足则返回“弃权”。

在对 19 个来自 SWE‑bench Verified 的 SymPy 任务进行的 194 次外部模型执行实验中(其中 130 条轨迹被回溯审计),我们观察到:

这些结果表明,评估代理监控器应侧重于 恢复机会、决策价值和统计支持,而非单纯的分类性能。

点评

原文链接: https://arxiv.org/abs/2610.36544

[h] 返回首页