长期记忆已成为大语言模型(LLM)代理的关键组成部分,研究主要聚焦于如何准确高效地检索相关信息。然而,一个可靠的记忆系统还必须在用户请求时忘记敏感数据。为评估这一能力,我们提出了 MemCut——一个系统化的用户请求遗忘基准。该基准包含 456 条在长时对话中手工设计的秘密,每条都配有完整的证据链,用于测试删除后的信息恢复,包括那些从未直接陈述秘密的消息。我们设计了两种恢复度量:原生恢复衡量读者通过系统检索成功的程度,残余恢复衡量当直接提供已存留的、可追溯到披露或证据的对象时读者的成功率。我们在五种记忆设计和四种 LLM 上建立了三种参考删除基线,以检验现有检索器和写入模型在遗忘方面的表现。实验表明,披露删除对原生恢复的削减远大于对残余恢复的影响。使用 LLM 引导的删除在二十个检索候选中额外删除十轮后,残余恢复仍保持在 39%‑76% 之间。对 144 条事实、三套系统、两种模型进行的子集扫描显示,在固定预算下扩大候选池比删除所有原始候选更能降低残余恢复,这揭示了候选覆盖率是参考基线的瓶颈。
点评:MemCut 为评估 LLM 记忆系统的可忘性提供了细致的实验框架,揭示了当前检索与写入模型在真正删除敏感信息方面的局限,为未来的安全记忆机制指明了方向。