语言模型代理能够在上下文中通过自然语言学习，这使得它们可以在收到反馈后迭代改进答案，这在现代代理工作流中非常常见。传统的评估指标如 Pass@1 或 Pass@K 只能衡量一次性成功率，无法反映模型对先前尝试的反馈利用情况。为此我们提出 Seq@K——一种自然的评估协议，测量模型在最多 K 次顺序尝试中是否能在每次失败后获得反馈并最终解决问题。Seq@K 与多轮代理基准不同，它专注于从反馈中细化答案的核心能力。我们在 7 个基准上测试了 16 种前沿模型，结果显示 Seq@K 能显著改变模型选择格局：模型排名常常不同，Pareto 前沿出现更高效的配置，最佳配置相对于 Pass@K 的收益可能扩大也可能收窄。进一步分析模型在 Seq@K 下的轨迹可以揭示迭代细化行为，例如模型响应反馈的速度或对自身答案的坚持程度。我们还考察了不同反馈形式对迭代细化的影响，表明实践者需要慎重设计和基准化反馈回路。综上，Seq@K 为通常在反馈循环中运行的智能系统提供了更可信的度量，评估时应将其纳入考量。
点评