摘要
强化学习（RL）在后训练大型语言模型（LLMs）中的重要性日益增加。以往的 RL 流水线主要是同步和批量交错的，这在长时间跨度的智能任务中效率较低。最近，异步 RL 作为一种更高效的替代方案，通过在回合到达时更新模型而受到关注。然而，现有的异步 RL 系统往往强调吞吐量，而对训练稳定性和任务有效性的研究相对较少。
例如，广泛使用的 GRPO 框架中的组采样与异步智能训练并不自然契合。为了解决异步 RL 中的稳定性和离政策挑战，本文提出了单回合异步优化（SAO）。为了减少离政策效应并提高泛化能力，我们用单回合采样替代了组采样，即每个提示使用一个回合。我们进一步通过实际的价值模型训练设计改进了这一单回合策略。
为了提高优化的稳定性，我们引入了一种严格的双侧令牌级剪裁策略。SAO 能够稳定地训练一千步，并在智能编码和推理基准（如 SWE-Bench Verified、BeyondAIME 和 IMOAnswerBench）上持续超越 GRPO 及其变体。我们还展示了单回合 RL 在模拟在线学习环境中尤为有效，在这种环境中，模型必须适应不断变化的环境。因此，SAO 成功部署在智能 RL 流水线中，用于训练开放的 GLM-5.2 模型（750B-A40B）。
博主点评：本文提出的单回合异步优化方法，显著提高了强化学习的效率和稳定性，尤其在动态环境中表现突出，为后续 LLM 的应用提供了新的思路与方法，具有很高的实用价值。