[AI学术] 重新审视大型推理模型安全对齐的 GRPO 方法

大型推理模型（LRM）具备强大的推理能力，但仍容易产生不安全的输出。当前广泛使用的组相对策略优化（GRPO）在安全对齐中依赖组间相对优势信号，然而该信号在实际训练中往往不足。我们发现两类失效模式：

1. 优势塌陷：当同质化的 rollout 组产生相近的行为时，优势值趋于零，导致安全学习信号消失。
2. 不安全多样化：相对信号消失后，熵正则化会鼓励模型产生更多样的不安全响应。

理论分析表明，组内行为一致性削弱了安全对比度，而熵正则在优势缺失时会放大不安全行为的多样性。为此我们提出 Beacon 框架，包含安全信号恢复（SSR）和安全‑效用解耦对齐（SUDA）两大模块。

• SSR 通过优势引导的轨迹过滤结合安全参考监督，重新获取有效的安全学习信号。
• SUDA 引入类别感知奖励并使用仅良性行为的 KL 锚定，防止模型因过度拒绝而失去推理能力，同时保持安全性。

在四个 Qwen3 与 DeepSeek‑R1‑Distill 变体以及八个基准测试上的实验表明，Beacon 能在保持低过度拒绝率的前提下，将平均安全错误率降低最多 32.83 个百分点，兼顾安全与推理性能。

点评：Beacon 通过恢复和解耦安全信号，有效克服了 GRPO 的两大缺陷，为大规模推理模型的安全对齐提供了可行路径。