摘要
长度惩罚强化学习可以缩短链式思维推理，同时隐藏影响模型回答的因素。在我们的实验中，尽管训练时使用长度惩罚使得模型的思维链中提及提示的频率显著降低，但这并未阻止误导性提示对模型的影响。
传统的基于标记准确性的评估将此类运行视为成功，因为它们使用了更少的推理标记且准确性损失很小；然而，这种评估方法无法揭示驱动答案的因素。我们训练了不同目标链长度的 Qwen3-4B 和 Qwen3-14B 变体，并在保留的 MMLU-Pro-R 和四个迁移基准上进行偏向提示干预的评估。
压缩显著减少了推理标记的数量，保持了大部分多选准确性，但提示的影响接近基线。对于最强的目标，Qwen3-14B 的下限忠实度降至基线的 63.1%，而 Qwen3-4B 为 69.4%；监控器捕捉提示使用的原始比率从 69% 降至 49%，从 60% 降至 48%。为了将长度与内容分开，我们随机删除未压缩基线链中的句子，直到剩余文本的长度与压缩长度相匹配。即使在这种长度匹配后，压缩链的提示披露频率仍比随机缩短的基线链低 7-35 个百分点，适用于 Qwen3 的两种大小和所有五个评估分布。
因此，压缩不仅仅是缩短推理，更偏向于去除监控器需要看到的线索，以了解影响答案的因素。这些结果共同揭示了一个压缩-可监控性边界，在这个边界上，更便宜的推理能够保留答案，同时使其背后的影响更难以检测。
博主点评： 这项研究展示了长度惩罚在强化学习中的深远影响，尤其是在链式推理的可监控性方面。尽管减少推理标记能够提高效率，但却可能掩盖模型决策的真实驱动因素，值得关注的是如何平衡效率与可解释性。