摘要
微调大型语言模型（LLMs）以注入新知识面临一个重大挑战：尽管 LLMs 能够迅速记忆新事实，但却无法在后续推理任务中有效使用这些事实。我们将这种失败形式化为 Knowing--Using Gap，其特征是记忆与泛化之间存在准确率差距和时间滞后。
为了深入理解这一现象，我们对 LLMs 进行了未见知识的微调，并使用一种新颖的干预技术——自修补（self-patching）来监控知识在内部的空间渗透动态。自修补技术可以识别出在激活位置重新定位表示会显著改善泛化失败案例的情况。
这些结果与知识电路错位假说相一致：记忆的表示可能在内部存在，但未必被路由到有效的计算层。为验证这一诊断发现的实用性，我们设计了一种简单的启发式策略，能够恢复 58% 至 75% 的泛化失败的最优表现。实验在跨领域进行，以验证这一发现的稳健性。
博主点评： 本文通过自修补技术深入探讨了大型语言模型在知识记忆与应用之间的差距，揭示了模型内部表示的潜在问题，为未来的微调策略提供了新的思路。理解这种机制对优化 LLM 的实际应用有着重要意义。