在大型语言模型中，虽然它们对方言英语的理解能力日益增强，但在生成输出时仍然偏向标准的美国英语，这使得方言生成这一更为复杂的问题尚未得到有效解决。为此，我们引入了 DiaLLM，该模型通过对三种开放权重的语言模型家族进行持续预训练，使用国际英语语料库，并结合隐式与显式的后训练范式，同时应用三种模型对齐策略，从而首次对这些组件在澳大利亚、印度和北英国英语中的表现进行了控制比较。
研究结果表明，方言的鲁棒性与生成能力是 解耦 的：基准测试受持续预训练和微调（SFT）的影响，而对齐策略在生成方面的变化并未被基准捕捉。显式的针对特定方言的适应方法能够可靠地产生被认定为方言的输出，并且在偏好上优于广泛对齐方法。然而，最积极优化方言奖励的方法并未获得人类评估者的青睐。独立的语言学分析证实了这种奖励与质量之间的差距，尤其在三种语言模型家族中的两种表现得尤为明显。没有单一的对齐方法能够占据主导地位，缩小这一差距将需要更丰富的奖励设计和对方言资源的持续投资。我们将所有代码、检查点以及偏好数据集公开发布。
博主点评： DiaLLM 的研究揭示了方言生成与理解之间的复杂关系，强调了持续预训练的重要性和对齐策略的多样性。未来的研究需要在奖励设计上进行更深入的探索，以实现更好的方言生成效果。