SWE-Critix 提出了一套后训练流水线,用于训练能够评估编码代理执行轨迹的通用验证器。
编码代理在端到端软件工程任务中日益普及,但缺乏可直接使用的评估基准。其轨迹往往包含数百次对代码库和外部工具的交互,长度极长,给验证带来挑战。
现有验证器要么直接使用通用大模型,缺乏针对性;要么训练专用评审器,仅输出标量奖励,未能提供细粒度解释。
SWE-Critix 在给定任务及其执行轨迹的条件下,预测完成标签并生成自然语言分析,解释判断依据。流水线首先进行监督微调(SFT),随后采用强化学习(RL)进一步提升。
我们在 CodeForge-Preview 轨迹上训练了一系列 30B 参数模型。实验在未见测试集上显示,基线 Qwen3-30B-A3B 推理模型的分类准确率为 57%,经 SFT 提升至 66%,再经 RL 达到 78%。
我们已开源模型、数据集和训练代码,以促进后续研究。
点评