引言
我们介绍了 AgentLens，这是一种用于交互式代码代理的生产评估基准。大多数代码代理基准将运行结果简化为一个单一的二元值——任务是否通过？然而，实际使用这些代理的人会经历整个过程：代理如何遵循指令、使用工具、验证自己的工作、从错误中恢复，以及在此过程中与用户的互动。AgentLens 评估了这一整体过程。
评估方法
AgentLens 结合了形式验证（即存在客观检查）和 LLM 编写的轨迹审查以及并排比较，使每次运行都能生成可读的解释，说明得分的原因。这使得 AgentLens 不仅仅用于模型排名：我们还利用它来诊断模型行为、比较我们自己代理的不同版本，并在夜间评估管道中捕捉产品回归。
开源发布
我们将该基准作为开源项目发布，地址为 GitHub。
博主点评： AgentLens 的推出填补了代码代理评估领域的空白，关注整个交互过程而非单一结果，极大地提升了对模型行为的理解与调试能力。开源的形式也为社区的进一步研究提供了便利，值得关注与使用。