本文研究了模型学习事实与检索事实的区别。模型在不同的提问形式下表现不同，例如在“X 的首都是 Y”后接“Y”，但在“X 的首都:”后可能失败。为区分学习事实和检索事实，作者设计了两阶段训练。第一阶段（请求形式训练）中，模型A看到每个事实的五种提问形式，模型B仅看到陈述形式。第二阶段（目标事实训练）中，两者都仅以陈述形式学习新事实。实验表明，两模型在陈述形式下检索新事实几乎相同，但在其他提问形式上差异显著。进一步分析回答前的隐藏状态（上下文状态），发现第一阶段接受多种提问形式的模型在不同提问下产生的上下文状态更相似。通过在检索时修改上下文状态可以开启或阻断已学事实的检索，这一效应在首都、货币等关系上均可迁移。作者还在目标事实训练阶段仅干预上下文状态，发现随后检索表现随之改变，说明上下文状态在事实学习期间起关键作用。综上，模型的检索能力受早期提问形式经验和事实学习时的上下文状态共同决定。
点评