摘要
大型语言模型（LLMs）在多种应用中展现出卓越的能力，但确保其同时具备安全性、有效性和可信度仍然是一个持续的挑战。传统的拒绝导向对齐策略虽然能减少有害内容的生成，但往往无法满足用户的合法需求，常常拒绝提供那些能够安全且建设性地解决敏感查询背后意图的信息。
基于Oyster-I所开创的建设性安全范式，该范式超越了简单拒绝，朝向更具思考性的响应导向安全对齐，我们识别出其监督微调（SFT）方案的两个关键局限性：对分布外场景的安全性泛化不足，以及我们称之为安全链式思维（CoT）过度泛化的现象，即过度应用安全导向的推理模式于良性查询，从而降低了有效性和用户体验。
为了解决这些问题，我们提出了Oyster-II，这是一种基于强化学习（RL）的建设性安全对齐框架，采用了零强化学习（Zero-RL）范式，并结合多阶段强化学习策略。经过广泛的基准测试，Oyster-II在安全维度上全面超越了Qwen3-14B及其前身Oyster-I，达到了与Qwen3-Max和Qwen3.5-397B相当的跨规模性能。
博主点评： Oyster-II通过强化学习的方式，创新性地解决了大型语言模型在安全性对齐方面的多个局限，标志着安全对齐研究的一个重要进展。其构建的多阶段RL策略为未来的模型安全性提供了新的思路，值得关注与深入研究。