NeFut Logo NeFut
EN 管理员登录

[AI学术] 应学习何种信息?用于通用后训练的条件信息增益

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#Machine Learning #LLM #Artificial Intelligence

监督微调(SFT)仍是后训练大语言模型的主流方法,因为固定示例可以直接注入期望的推理策略和行为模式。然而,强制模型模仿外部提供的轨迹可能会干扰预训练已具备的行为,限制模型在训练分布之外的泛化能力。\ \ 近期的动态 SFT 方法通过依据模型侧信号(如预测概率、先验支持或分布兼容性)对 token‑级监督进行重新加权,缓解了上述问题。但模型兼容性并不等同于学习价值:当前模型对某 token 的弱支持既可能是无意义的偏差,也可能正是示例想要教授的任务特定决策。\ \ 我们提出 CIG‑SFT,一种信息论框架,用以估计每个示例 token 所携带的任务条件信息。具体做法是在教师强制(teacher forcing)下,使用冻结的参考模型分别计算 token 在有任务输入和无任务输入两种情形下的似然(保持金解前缀不变),两者之差即为条件信息增益,衡量任务本身对该决策不确定性的降低程度。\ \ 随后将该信息转化为对当前策略的 KL 正则化投影,并推导出等价的标量加权 SFT 目标。该目标的 logits 梯度恰好等于投影后目标的梯度,实现了信息驱动的细粒度监督。\ \ 在数学推理和代码生成基准上,CIG‑SFT 一贯超越标准 SFT 以及最新的自适应微调基线,尤其在面对更具挑战性的评估分布时表现出显著的泛化提升,且无需额外训练数据或在线 rollout。\ \ 点评

原文链接: https://arxiv.org/abs/2610.12995

[h] 返回首页