技能‑策略共进化指在训练期间,智能体的策略模型与技能库相互提升,这被视为自我改进代理的有前景范式。当前的评估通常在训练结束后使用与策略共同进化的最终技能库(即交付库)进行打分。
然而在实际部署时,技能库可能被频繁重写、增删,而策略模型的再训练往往滞后,这导致策略必须在已漂移的技能库上运行,而这一情形既不在训练目标中,也未被现有评估方案覆盖。
理论分析表明,这种盲点并非偶然。所有共进化方法共享的合作接受规则把策略的能力绑定到其共进化的技能库上,一旦技能漂移,策略即变得脆弱;实验证明,随着共进化训练的进行,对技能漂移的敏感度会逐步提升。
为此我们提出了 CO‑evolution Drift Audit(CODA),一种面向部署的评估协议。CODA 通过模拟技能漂移来测量最坏情况成功率,并引入两项新指标:意义保持编辑下的一致率以及对受损技能的抵抗率。
在四种共进化方法、五个基准任务和六种设置的实验中,最坏情况成功率比每对交付组合的峰值低 5‑13 分,抹去 52‑93% 相对于无技能基线的提升。
CODA 因此将共进化的目标从在共进化库上追求峰值性能,重新定位为在技能库任意演化的情况下仍能有效利用技能,并提供了一个统一的审计标准供后续工作参考。
点评