随着编码代理能力提升，开发者越来越多地在多轮交互中使用它们修复 bug。现有基准大多只提供一次性完整的 issue 报告，缺乏交互过程，导致评估出现假阳性和假阴性——错误的补丁可能被接受，正确的补丁可能被拒绝。为此我们提出 UserSWE，用于在多轮对话中让编码代理与动态用户共同修复仓库级别的 bug，并在每轮给出基于执行的判定。构建流程将仓库历史和已有的单轮基准转化为多轮任务。每轮通过信息池限制模拟用户可透露的内容，随后从在 20,859 条开发会话上校准的转移模型中抽样得到的 persona 链决定用户的表达方式。每轮结束后运行测试，用来自不同模型族的两名代理分别撰写和审查判定，测试结果作为主要依据，模型判断仅用于测试无法覆盖的细节。我们在 42 个仓库的 72 项任务上评测了 11 种代理，发现排名随交互预算变化显著：Claude Fable 5.1 在单轮时解决任务最多，GPT‑6‑Astra 在第八轮时完成最多，Claude Opus 5 在大多数中等预算下领先。这表明单轮表现不足以刻画交互式编码能力。
点评