在这项研究中，我们探讨了强化学习（RL）后训练是否仅仅放大了基础模型中潜在的原始技能，或者是否能够将这些原始技能组合成新的高级策略。
我们在一个完全可观察的重写语法环境中进行实验，已知预训练分布，并且每个生成的重写都可以审计。通过对基于追踪的推理任务进行后训练，RL能够解决在更大的采样预算下仍然难以被预训练模型解决的问题。
研究表明，RL通过分阶段的组合机制重新组织原始能力：首先加强原始简化，然后发现有效的组合程序。这些组合程序包括顺序组合，即将有序的原始收缩链合并，以及并行组合，即在一步中结合独立的原始收缩。这些组合程序并不是孤立的样本，而是被重用并巩固成一个稳定的知识库。
与拒绝微调（RFT）相比，RL的关键区别在于选择性，而非探索量：RFT产生了许多类似捷径的重写，其中大部分无效，而RL则将探索集中在有效的可重用结构上。预训练的消融实验表明，组合策略的出现不仅仅依赖于原始技能的暴露，还取决于预训练是否将原始能力组织成后期RL可以压缩的简化程序。基础模型提供了弱的程序性成分，RL则将其构建成可靠的高级策略。
博主点评： 该研究揭示了强化学习后训练在构建组合推理策略方面的潜力，强调了技能组合的重要性，这对未来的AI系统设计具有深远的影响。通过这种方法，模型能够更灵活地应对复杂任务，值得进一步探索其在实际应用中的表现。