摘要
LLM（大型语言模型）代理在多个回合中操作，积累外部记忆存储中的事实，并将其作为后续推理的前提。然而，在某一步写入的幻觉事实会在随后的每一步中持续存在，导致所谓的记忆污染。现有的记忆管理方式主要关注检索和容量，而未能解决写入时的正确性问题；这种入库问题无法通过效用或时效性标准来解决，且在长轨迹中，失控的污染会不断累积。
我们提出了ConsistencyGate，这是一种写入时的入库门控机制。在提交从上下文中提取的候选事实 m 之前，它会向 LLM 询问 K 次以获取软支持分数，只有当平均值超过阈值时，m 才会被接受。该机制与模型无关，无需微调，并且在对延迟敏感的部署中可简化为单次前向传播的对数概率变体。
为了测量其在自然数据上的效果，我们构建了两个真实对话基准（LoCoMo-Contam 和 MSC-Contam），通过在 LoCoMo 和 MSC 的长期对话中植入受控的单一细节污染，并辅以一个结构化的合成语料库（MemContam），以隔离近乎完美的上限。ConsistencyGate 在四个 LLM 基础模型上，针对每个基准相较于写入一切的基线，显著减少了污染，成本主要集中在上下文中仅隐含表述的事实上。我们将所有三个基准以及门控实现一起发布。
博主点评： ConsistencyGate的提出为LLM的记忆管理提供了一个创新的解决方案，通过引入写入时的入库机制，有效降低了记忆污染的风险。这一方法不仅提高了模型的推理准确性，还能在不需要微调的情况下适应不同的模型，具有广泛的应用潜力。