大语言模型（LLM）代理在扩展对话中积累大量信息，然而现有的记忆系统要么无差别地保留所有信息，要么应用统一的遗忘启发式，无法区分相关和不相关的知识。我们提出了CAMeR（上下文激活记忆强化），这是一个结合关键词门控混合激活的记忆保留框架——一种联合符号（单词级Jaccard）和子符号（嵌入余弦）门控机制，配合自适应权重动态。
CAMeR为每个记忆-查询对计算混合相似性得分；超过阈值的记忆会得到强化，而所有记忆则经历受控衰减。我们引入了CAMeR-Bench，这是一个跨越8个主题集群的76个记忆、100轮的基准测试，设计用于测试自适应保留，而现有基准（LoCoMO、LongMemEval）无法做到。在CAMeR-Bench上，CAMeR的关键词门控在高频和从未引用的记忆之间实现了1.6倍的保留差距，相较于仅嵌入的门控（剪刀差：0.039 vs. 0.024），而时间驱动的基线（Oblivion、SuperLocalMemory）在100轮后几乎崩溃到零权重。
CAMeR的前5次检索相比全上下文方法节省了83.2%的token（39k vs. 231k累计），同时产生的权重信号提高了检索精度。通过8种消融条件，我们建立了关键词门控——而非可学习的衰减——是这一规模下主要的性能驱动因素。我们的研究结果表明，混合符号-神经门控提供了一种简单而有效的机制，用于LLM代理的自适应记忆保留。
博主点评： CAMeR的创新在于其结合了符号和子符号的门控机制，显著提高了记忆的保留效率，尤其是在高频和低频信息的处理上。这一方法为大语言模型的记忆管理提供了新的思路，值得在未来的研究中进一步探索其潜力与应用场景。