在强化学习（RL）领域，尽管取得了显著的成功，提升了大语言模型（LLMs）的推理能力，但现有的无评论员RL方法依赖于均匀的信用分配，这种方法在所有令牌之间广播相同的优势，忽视了它们之间的差异。
我们识别出这一设计的一个关键失败模式，称之为正信用污染：低概率的尾部令牌在上下文中出现错误，却与同一轨迹中的合理令牌获得相同的正信用，从而导致错误推理行为的无差别强化。
为了解决这一问题，我们提出了尾部感知信用校准（TACO）方法，该方法校准均匀的信用分配，以抑制不良的正更新。
TACO 首先计算一个尾部风险评分，该评分结合局部生成上下文来评估每个令牌落入不可靠尾部的风险，区分意外稀有性和不确定性驱动的探索。
然后，TACO 使用该评分来调整风险令牌的正信用，而不完全移除它们的梯度，以便有用的稀有模式能够累积强化，同时逐步抑制偶然噪声。
实验结果显示，在三种 LLM 和八个基准测试中，TACO 始终优于 GRPO 风格的基线。值得注意的是，TACO 提高了训练稳定性，支持长时间强化学习中的持续性能提升。
源代码可在此获取：GitHub。
博主点评： TACO 方法通过精细调节风险评分，突出了在强化学习中处理低概率尾部令牌的重要性。这一创新不仅提高了模型的推理能力，也为未来的RL研究提供了新的思路，值得关注和深入研究。