我们研究了信念驱动的记忆在何种情况下能够改善大型语言模型（LLM）代理的表现。我们的研究工具是Nous，一种长期记忆架构，它将每个实体-属性对表示为通过闭式贝叶斯推理更新的分类概率分布，信息论中的惊讶驱动信念修正和基于熵的遗忘。对LoCoMo基准的控制消融实验表明，单纯的贝叶斯信念更新相较于简单的最后写入胜利策略几乎没有好处，因为现有的对话记忆基准很少包含矛盾或可靠性不同的证据。
接着，我们引入了基于可靠性的条件更新，通过对话语中的认知语言来估计每个观察的可靠性，并在一个控制的矛盾基准上展示，信念更新在观察的可信度不同的情况下，显著优于最后写入胜利和原始记忆检索。由于内容衍生的可靠性本身容易受到操控，我们进一步提出了源头限制的信念更新方法，其中信任由源头的来源而非文本的置信度所界定。在控制的记忆毒化实验中，这种方法能够抵御大规模的毒化攻击，同时揭示了源头意识记忆的效用成本和实施要求。
最后，我们量化了严格的token-F1与LLM作为评判者在相同输出上的27.5分差异，突显了长期记忆基准的重要可重复性问题。我们的结果表明，在需要对冲突和不同可信证据进行推理的环境中，概率信念驱动的记忆最具优势，而不仅仅是传统的对话回忆。
博主点评： 本文展现了信念更新在处理复杂对话中的潜力，尤其是在证据不一致的情况下。通过引入源头限制的方法，作者有效地缓解了记忆毒化问题，这为未来的LLM模型提供了新的研究方向。值得注意的是，评估标准的差异也反映出当前领域研究的挑战，呼吁更为严谨的评估方法。