大型推理模型（LRM）通过显式的思路链（CoT）实现了卓越的推理能力，但也带来了安全风险。安全目标被形式化为三点：推理过程和答案必须非恶意、保持安全一致性、能够明确识别意图。现有对齐方法往往忽视模型自身的推理能力，导致对抗性泛化差、推理性能出现显著的安全税，并且奖励信号过于粗粒度、缺乏可信度。\n\n为了解决这些问题，本文提出了 SAVeR²——一种利用推理能力的安全对齐方法。该方法将安全目标拆解为四个可验证的细粒度奖励信号，并采用难度感知的数据选择策略以稳定训练过程。核心创新是推理保持梯度投影机制，它在解析层面上消解安全梯度与推理梯度之间的冲突，从而根除安全税。\n\n实验覆盖 1.5B 至 671B 参数规模的模型，在多个基准上显示 SAVeR² 能显著提升安全表现，降低过度拒绝率，同时保持通用推理能力不受影响。\n\n点评：SAVeR² 通过细化奖励与梯度投影实现了安全与推理的双赢，为大规模推理模型的安全对齐提供了可验证的路径。