摘要
基于大型语言模型（LLM）的自主智能体需要外部记忆，以克服其无状态性和有限的上下文窗口，从而实现长期交互和动态知识推理。然而，现有的记忆检索方法往往缺乏适应性和样本效率，难以从异构存储中检索到合适的记忆混合。
我们提出了探索-同化反思（EAR）框架，该框架旨在实现高初始检索性能和样本高效适应。EAR结合了两种机制：探索性反思，通过迭代搜索来引导检索并为每个查询收集有用的经验；同化反思，则从经验缓冲区重放这些经验，以比仅依赖即时奖励的方法更高效地完善全局重排器。
实验表明，在两个长期对话基准测试中，EAR的检索性能比基线检索器提高了高达17.9%。我们还证明了EAR在处理噪声反馈时具有高度的样本效率和鲁棒性。
博主点评： EAR框架通过引入探索和同化两个反思机制，有效提升了长期记忆的检索能力，展现了在动态交互环境中对记忆的高效利用潜力。其样本效率和对噪声的鲁棒性为未来的LLM应用提供了重要的研究方向。