摘要
自进化体通过观察自身技能的失败来退役不良技能，但当裁判无法看到这些失败时会发生什么？技能退休是防止技能库下滑至无技能基线的结构性约束，而这一保证假设了奖励是无偏的，这在参考任务强加的 LLM 裁判中并不成立。我们展示了偏见裁判不仅仅是增加噪声；它实际上是悄然关闭了技能的管理者。通过腐败奖励分析，我们具体化了这一点，并通过在确定性奖励上注入腐败，进行了一项关于无参考报告写作测试床的行为研究，辅以代码生成的交叉检查。
对称噪声保持了技能退休的完整性，但“假通过”偏见（失败被错误地视为通过）在超过一个尖锐阈值后禁用了基于贡献的退休，这一阈值是任何数据量都无法突破的。将真实退休与能力驱逐的波动分开表明，这一机制失效是普遍存在的，适用于各个领域和失败率，仅在近零假通过、验证者式的评分者中得以幸免。
然而，最终结果是依赖于规则的：评估质量仅在相同的腐败也抑制技能合成的地方降级，其他地方则保持稳定，因此被禁用的管理者是“无声”的，在任何汇总指标中都不会显现。这一贡献是行为安全结果，而非性能结果。通过廉价的缺陷注入审计，操作员可以在部署前判断他们的裁判处于阈值的哪一侧。
博主点评： 本文深入探讨了在自进化代理中，偏见裁判如何影响技能的有效退休机制，揭示了在无参考环境下的潜在风险。通过腐败奖励分析，研究者为理解自适应系统中的行为安全提供了新的视角，强调了评估过程中的公正性对系统整体性能的重要性。