语言模型（LM）常通过强化学习与可验证奖励（RLVR）进行训练，以提升推理能力。但 RLVR 并未在训练中显式考虑校准，导致模型出现严重的校准退化，尤其是过度自信。近期的校准感知训练方法将不确定性估计目标加入训练，虽能改善校准，却在分布迁移下仍表现出过度自信，并且会牺牲推理性能。\ \ 为了解决上述问题，我们提出了 RL-ARC——一种校准感知的训练框架，能够同时利用推理置信度和答案置信度。具体而言，RL-ARC 将推理置信度作为辅助信号，用于校准答案置信度：在答案正确时，将推理置信度作为正则化项提升答案置信度的可靠性；在答案错误时，则将其作为过度自信惩罚，抑制错误答案的高置信度输出。\ \ 在大量的内部（ID）和外部（OOD）实验中，RL-ARC 不仅显著提升了模型的校准度，还使模型能够根据具体问题自适应估计置信度，且对推理性能的影响微乎其微。实验结果表明，推理置信度是训练可靠推理模型的关键因素。\ \ 点评：RL-ARC 通过将推理过程的置信度引入答案置信度的校准，实现了在保持推理能力的同时显著改善模型校准，是面向实际应用的可靠推理模型训练的有力方案。