摘要
强化学习通常用于通过环境反馈训练大型语言模型。然而，在实际应用中，环境通常提供稀疏或延迟的反馈，这使得模型难以准确判断哪些推理过程导致了成功或失败。因此，从这些信号中有效学习变得困难，因为模型必须确定每一次失败应如何指导后续迭代中的有意义行为修正。
我们提出了一种训练框架——自我审查强化学习（Self-Review Reinforcement Learning, SRRL），将显式的自我审查步骤嵌入每个强化学习回合中。当首次响应失败时，模型生成自我审查以识别问题所在，从而为改进的第二次尝试奠定基础。与推理时反思方法（如 Reflexion）不同，该框架通过策略梯度优化自我审查，并通过选择性蒸馏将改进内化到基础策略中，确保这些改进在未来的回合中得以持续。
跨回合记忆用于保存成功的自我审查，以便在未来遇到类似任务时进行重用。我们使用 GRPO 优化器对 SRRL 进行评估，并与标准 RLVR 基线进行比较，涉及两个语言模型 Qwen 3-4B 和 OLMo-3-7B，在 GSM8K 基准上进行测试。SRRL 在最终奖励性能上始终优于 RLVR，并通过成功将反馈转化为行为改进，实现了更高的学习效率。
博主点评： SRRL框架通过引入自我审查的机制，使得强化学习在处理复杂任务时变得更加高效。这种方法不仅提升了模型的学习能力，也为未来的任务提供了宝贵的记忆储备，具有广泛的应用前景。