大型语言模型（LLM）在前缀提取实验中会泄露记忆的训练序列：给定训练样本的前缀，模型可能对原始续写赋予高概率。然而，在实际部署中，前缀往往并非单独出现，而是伴随指令、检索到的文档或其他任务特定上下文，例如检索增强生成（RAG）。这引发了一个核心问题：上下文条件化是削弱记忆，还是仅仅改变可提取记忆样本的集合？
我们通过配对的项目级测量，对概率后缀提取进行实验。对每一组前缀‑后缀对，分别在空提示和不同相关度的检索上下文下评估目标后缀的概率，使用三种开源指令微调模型进行对比。实验结果表明，上下文并不会简单地抹去记忆。可提取的记忆由两部分组成：一个对上下文鲁棒的核心，以及一个对上下文敏感的边界。随着前缀长度增加，许多在无上下文时可提取的样本仍在检索上下文下保持可提取。与此同时，上下文主要影响接近提取阈值的边缘样本：它既会抑制部分泄露，也会让原本在前缀‑仅评估中未被发现的样本变得可提取。
这些发现对“RAG 能降低记忆风险”的观点提出了修正。上下文可以通过压制边缘案例降低整体提取率，但对鲁棒可提取的样本仍然构成安全威胁，且上下文诱发的可提取样本同样具有实际风险。
点评