摘要
弱到强的泛化为扩展大型语言模型（LLMs）提供了一个有前景的范式，通过对来自对齐弱模型的样本进行训练强模型，而无需人类反馈或显式奖励建模。然而，弱模型输出中的噪声和偏差限制了其鲁棒性和泛化能力，影响了其实用性。
为了解决这一挑战，我们利用隐式奖励，通过对数似然比来近似显式奖励，并揭示它们与对比解码（Contrastive Decoding, CD）之间的结构等价关系，后者被证明可以减少LLM生成中的噪声。
基于这一联系，我们提出了对比弱到强泛化（ConG）框架，该框架通过对齐前后的弱模型进行对比解码，从而生成更高质量的样本。这种方法实现了更可靠的能力转移、去噪和改善鲁棒性，显著缓解了传统弱到强方法的局限性。
不同模型家族的实证结果证实了一致的改进，展示了ConG的普遍性和有效性。总的来说，我们的发现突显了ConG在推进弱到强泛化方面的潜力，并为实现通用人工智能（AGI）提供了有前景的路径。
博主点评： 对比弱到强泛化（ConG）框架通过引入对比解码，有效降低了弱模型输出的噪声，从而提升了模型的整体表现。这一方法为大语言模型的训练提供了新的视角，尤其在没有人类反馈的情况下，展现了其在未来AGI发展中的重要性。值得关注的是，该方法的普适性和适应性，将为后续研究提供新的思路。