摘要
大型语言模型（LLMs）常通过将个体观察映射到更一般的规则结构来回答查询。然而，这些结构是如何存储、选择和修订的仍然不明确。为了研究这一过程，我们提出了提升表征假设：LLMs通过共享潜在结构而非孤立的实例级事实来更新记忆。此观点将提升视为在实例间高效利用对称性，而破碎则是将粗糙的提升结构细化为更具体的子类型。
我们通过在上下文学习、LoRA和完全微调中的控制例外学习实验来评估LLMs的提升和破碎。研究发现，当数据受嵌套规则和例外支配时，LLMs易受到破碎失败的影响，而提升往往发生得过早。这些结果强调了研究数据与规则结构在LLMs中的关系的必要性。
博主点评： 本文提出的提升表征假设为理解大型语言模型的记忆更新机制提供了新视角。通过揭示模型在处理复杂规则时的脆弱性，研究者们为改进LLM的结构和学习方式奠定了基础，值得深入探讨。