数据科学和机器学习工程代理通常在 MLE‑bench、ALE‑Bench、SWE‑efficiency、AlgoTune 等基准上评估，这些基准的任务会产生一个量化指标（Kaggle 指标、竞赛得分或加速比）。当最佳模型之间的差距消失时，常见的做法是引入更难的版本。我们对八个基准（包括 SWE‑bench Verified 和 Terminal‑Bench）重新评分，发现大部分饱和现象来源于测量方式，而非任务本身。
大多数代理基准把一次运行简化为通过/未通过的二元位，这有两大缺陷：
- 过于粗糙：在 SWE‑bench Verified 上，前十名代理的差距小于测试误差，纠正误差后相邻模型的排序几乎不变，甚至只删除六分之一的通过记录就能随机打乱排序。
- 被参考基准限制：ALE‑Bench 前十名在对比中位人类时得分相同，尽管近一半的运行已经超越该人类水平。
在固定任务上，提高门槛只会把问题转移，而不是根本解决。我们提出一种 截断对数比率得分（clipped log‑ratio score），使用带时间戳的锚点，并将成本作为独立轴进行评估。Terminal‑Bench 的重新运行表明，原本通过/未通过相同的模型在被测试抛弃的量化指标上相差超过十倍。
点评：测量粒度的提升和多维度评分是突破代理基准瓶颈的关键。