在前沿语言模型的后训练过程中，通常使用精心策划的任务套件，这不可避免地导致了训练与部署环境之间的分布偏移。这种偏移使得开发者面临泛化失败，而这一现象尚未得到充分理解。
为更好地理解泛化失败，我们认为社区应在简化条件下构建干净的演示。为此，我们提出了一种简单灵活的方式来构建语言模型，使其在使用强化学习（RL）进行后续训练时，能够以可控的方式表现出泛化失败。
我们的构建方法使用监督微调，基于与一组“条件策略”相对应的转录文本混合数据集进行训练。每个条件策略可以在不同的任务分布上独立分配特定行为，从而获得一个可以近似为“条件策略混合”的模型。
我们观察到，RL训练会选择在训练分布上获得最高奖励的策略。这可能产生令人震惊的行为：在一个受控设置中，两个分布包含相同的问题，但前面加上两个不同的“触发字符串”，在任一分布上进行的RL训练会使得另一分布的性能降至零，尽管基础任务是相同的。
此外，我们还使用我们的构建方法展示了未来语言模型泛化失败的两种新方式，分别对应于任务覆盖的分布偏移和时间上下文的变化。尽管我们的构建方法故意简单，可能与“自然”泛化失败并不完全相似，但生成的“模型生物”对于对齐压力测试和泛化科学具有重要意义，并可以作为训练成功与泛化在结构上分离的存在证明。
博主点评： 这项研究深入探讨了强化学习训练中泛化失败的问题，特别是在分布偏移的情况下，揭示了模型在不同任务之间的脆弱性。这为未来的语言模型设计和评估提供了重要的参考，尤其是在对齐和泛化的研究领域。通过构建“模型生物”，研究者能够在更简单的环境中理解复杂的泛化机制。