ExpertCrowd‑SWE（EC‑SWE）是一套包含 100 条由专家编写、跨文件的软件工程任务，用于评估在大型陌生代码库中工作的自主编码代理。每条任务对应真实仓库的固定提交，提供一段由在职工程师撰写的变更请求、一个封闭的参考实现以及一个任务专属的评分器。评分器基于可执行的加权标准给出部分分数，必须通过的阻断条件和通过/失败门槛模拟维护者的合并决策。任务覆盖 87 个开源项目，涉及 11 种编程语言。工单正文中位数为 148 字，参考实现修改行数中位数为 471 行。所有任务在发布前均已校准，使参考实现得分 1.0，未改动的代码库和无效改动均得 0 分；约一半任务额外提供懒惰或对抗性补丁，评分器需正确区分。最终挑选的 100 条任务在当前前沿模型上具有挑战性。我们在统一平台上对七个前沿模型进行评估，每个模型运行五次，共计 3 495 次有评分的运行，平台为每个模型提供其原生工具接口。Claude Opus 5.5 获得 67.3% 的得分，GPT‑6 Astra 为 63.7%，随后是 Claude Fable 5.1（46.5%）、Gemini 3.8 Flash（40.0%）以及 Qwen 3.8 Max、DeepSeek V4.1 Flash、Grok 4.6（均在 32‑34%）的统计上无显著差异。没有任何任务被所有模型全部解决，且在 80 条任务中没有模型在五次运行中全部拿满分。整体得分跨度为 35 分。不同模型的代理在一次运行中执行的步骤数中位数在 33 到 166 步之间，步骤数与得分几乎无关。我们公开了 24 条任务的环境、评分器和实验结果，其余 76 条任务保留以防止数据污染。
点评：EC‑SWE 为评估大模型在真实、复杂代码库中的实际编码能力提供了细粒度、可量化的基准，揭示了当前模型在跨文件修改和阻断条件处理上的局限，也为后续模型改进指明了方向。