快速的 AI 能力提升使得许多基准分数趋于满分。当多个模型都能获得接近完美的成绩时，基准失去区分能力，进而削弱其在 AI 安全论证和前沿政策制定中的价值。然而，基准项不仅提供分数，还记录了模型完整的求解过程。我们探讨这些求解记录在基准分数已饱和的情况下，是否仍能用于评估模型能力。
我们回溯历史基准和模型发布，模拟分数饱和的情形，并仅使用正确解答的求解记录来预测在未饱和的留出项目上测得的能力。评估的提取方法包括：成对判断、单条记录的绝对打分、基于确定性特征的预测以及基于嵌入的预测。
实验表明，成对判断的预测误差比仅使用饱和分数的基线低 5.3 倍，表现最佳。能力信息遍布记录的各个段落，但在推理过程和工具调用等信息通道中更为集中。
然而，这些协议的预测能力并非在所有分布转移下都能保持，例如在 2025 年初首次出现的推理模型上往往被低估。因而，虽然饱和基准的记录仍保留有价值的能力信号，但要延长基准的使用寿命，需要设计能够稳健提取这些信号的方法。
点评