AgentSWE 是一个面向编码代理的软件工程基准，覆盖代理开发生命周期的三个阶段：从自然语言需求创建完整代理、编辑已有生产代码库、以及针对可度量目标的优化。基准包含 25 项任务，每项任务以委托形式呈现，构建者在少量示例上迭代，随后在冻结提交上使用未见案例进行验收，评估依据需求衍生的评分标准，采用硬性通过/失败门槛，优化任务则对标原基准目标。我们在多模型、多工具组合下评估了多种编码代理，结果显示没有一种能够完整满足需求：构建者展示的能力与实际交付之间的差距是常态。进一步的经验分析揭示了重复出现的失效模式，包括对可见案例的过拟合、代码看似完整但运行时为空洞、以及声称完成但缺乏支持的情况，这些都是编码代理今后学习的信号。
点评