我们改变了智能体:它真的变得更好吗?每个自我改进的智能体循环都会重复数百次这个问题,而每一次的答案都来自一个验证器。在开放式任务中缺乏客观评判标准时,循环只能依赖手写评分标准或让同类大语言模型(LLM)直接打分,这会导致奖励黑客和共享盲点。我们将验证器本身设为可进化对象:它是一个可检查的表达式,由一组小且大多确定性的缺陷检测器组成,这些检测器通过对聚类的失败案例进行综合合成,在生成时被门控,并通过与十项锚定参考集以及对未标记输出的共识进行一致性选择,而不是依据智能体的得分进行优化。
在 MBPP+ 基准上,该验证器相较于手工种子组合在持出一致性上提升了 $+0.21$,并在所有种子上均优于其内部的裸 LLM 评审。一个关键发现是:去除锚定门控会使验证器退化为一个始终通过的空洞评分器,但即便如此,它仍能同样有效地训练技能。下游任务得分无法证明自我进化的验证器的可靠性;得分只能回答充分性问题,而在此情形下进化的验证器可以替代:采用“双向递进”(Double Ratchet)策略,将验证器与生命周期管理的技能循环配对,可保留 $88\%\sim110\%$ 的提升幅度,这与使用真实标签或人工评分标准获得的提升相当,适用于代码生成、企业级文本到 SQL、以及无参考报告生成等任务。
当进化出的技能尝试利用报告评分标准进行投机时,外部评审捕获了异常并通过新增检测器进行修复;该评审本身在未获得任务合同前也会出现错误。
点评:本文展示了将验证器本身设为可进化、可检查的对象能够显著提升自我改进智能体的可靠性与通用性,尤其在缺乏明确评判基准的开放任务中提供了新的验证路径。