摘要
长时记忆已成为基于LLM的代理在多会话交互中陪伴用户的基础能力。然而，现有的基准几乎只通过下游问答来评估这种记忆，仅仅评分最终答案的正确性。这种黑箱形式混淆了记忆失败的多种原因，例如缺少相关事实的引入、将操作绑定到错误目标或在修正后依赖过时值。因此，即使答案正确，也可能依赖于不一致或不安全的记忆状态。
在本文中，我们认为，在动态的长时交互中，记忆并不是一组静态事实，而是一个明确操作的生命周期，包括记忆、遗忘、更新、反思及其组合。我们引入了MemOps，一个基准将对话记忆重新定义为一系列生命周期操作，并用结构化追踪表示每个记忆事件，指定其触发、目标、范围、状态转变和支持证据。
一个可控的生成管道将这些操作嵌入到长任务导向的对话中，并生成黄金操作追踪以及六类操作级探针，评估在相邻证据和长上下文设置下的表现。在长上下文、基于检索、参数化和管理内存的系统中，MemOps解构了最终答案准确性所掩盖的失败模式，揭示当前系统远未达到均匀可靠的水平。例如，基于会话的检索优于基于轮次的检索，而长上下文模型在重构有序记忆状态轨迹方面明显不足。这些结果将长期记忆的评估从最终答案评分转向可解释的操作级诊断。
博主点评： MemOps基准的提出，标志着对长时记忆评估方式的重大转变。通过关注内存操作的生命周期，研究者能够更深入地理解记忆系统的弱点，推动LLM代理在复杂交互中的可靠性提升，值得业界关注。