NeFut Logo NeFut
EN 管理员登录

[AI学术] SWE-Critix:面向编码代理轨迹的后训练通用验证器

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#AI #Machine Learning #LLM

SWE-Critix 提出了一套后训练流水线,用于训练能够评估编码代理执行轨迹的通用验证器。

编码代理在端到端软件工程任务中日益普及,但缺乏可直接使用的评估基准。其轨迹往往包含数百次对代码库和外部工具的交互,长度极长,给验证带来挑战。

现有验证器要么直接使用通用大模型,缺乏针对性;要么训练专用评审器,仅输出标量奖励,未能提供细粒度解释。

SWE-Critix 在给定任务及其执行轨迹的条件下,预测完成标签并生成自然语言分析,解释判断依据。流水线首先进行监督微调(SFT),随后采用强化学习(RL)进一步提升。

我们在 CodeForge-Preview 轨迹上训练了一系列 30B 参数模型。实验在未见测试集上显示,基线 Qwen3-30B-A3B 推理模型的分类准确率为 57%,经 SFT 提升至 66%,再经 RL 达到 78%。

我们已开源模型、数据集和训练代码,以促进后续研究。

点评

原文链接: https://arxiv.org/abs/2610.13356

[h] 返回首页