NeFut Logo NeFut
EN 管理员登录

[AI学术] 通过能力感知实现策略与评估标准的协同进化用于开放式生成

发布于:2026-10-31 22:00 最后更新:2026-11-02 00:48
#AI #Machine Learning #LLM

Rubric‑based 强化学习为大语言模型(LLM)在开放式生成任务上的对齐提供了可解释、细粒度的监督。然而,静态评估标准容易饱和,或超出策略的探索范围,导致奖励信号辨别力不足。现有方法虽尝试引导采样或演化评估标准,却未显式考虑评估难度应随策略能力变化,从而出现优化目标与当前能力前沿不匹配的情况。\

本文提出 CoCA(Co‑Evolving Policy and Rubric via Capability Awareness),一个闭环框架,通过对每一准则进行诊断,实现评估标准与策略的同步演化。CoCA 首先比较仅查询(query‑only)和基于评估标准的 rollout,量化每个准则相对于当前策略的难度;随后对难度不匹配的准则进行重新校准,并利用指导揭示的能力缺口进行前沿学习。基于诊断结果,CoCA 可通过引导式优化扩展评估条件的前沿,或通过 on‑policy 自蒸馏将已获得的提升迁移至查询行为。随着策略更新,诊断精度提升,蒸馏更为可靠,形成完整的协同进化循环。\

在多个基准和不同规模 LLM 上的实验表明,CoCA 相比传统 rubric‑based RL 方法始终取得更高的性能。更重要的是,CoCA 能将指导中显现的能力内化到仅查询的行为中,同时抑制能力退化。\

点评

原文链接: https://arxiv.org/abs/2610.38566

[h] 返回首页