摘要
有效的记忆对于大型语言模型（LLM）代理至关重要，但有效构建记忆仍然具有挑战性。记忆构建策略决定了在交互过程中提取、存储、更新、压缩或丢弃哪些信息。启发式记忆方法依赖主观的、特定任务的规则，这可能与下游目标不一致，并限制跨任务的适应性。
相较之下，基于强化学习的方法通过任务反馈进行学习，但主要使用基于结果或模块级的奖励。这些粗略的信号仅指示任务成功，但无法识别哪些中间记忆内容支持最终答案，从而造成精细的信用分配瓶颈。
然而，构建这样的过程反馈极为困难，因为中间记忆决策缺乏唯一的真实目标，而适当的信用因代理不确定的推理轨迹而异，因此无法提前指定。我们提出了AttriMem，一个基于归因的过程反馈框架，用于学习记忆构建策略。AttriMem通过从令牌级对最终答案的贡献中派生的局部奖励，增强全局结果奖励。
实验表明，AttriMem在长时间对话问答任务中优于基于检索、启发式和强化学习的基线，在基准和答案模型之间具有良好的泛化能力，并且稳定了强化学习的优化过程。
博主点评： AttriMem通过引入局部奖励机制，解决了传统强化学习在记忆构建中的信用分配问题，为大型语言模型的高效记忆管理提供了新的思路，展现了其在复杂任务中的广泛适应性。该框架的成功实施可能会推动未来在多任务学习和智能代理领域的进一步研究。