代理记忆使大语言模型（LLM）代理能够在不更新参数的情况下复用过去的经验。然而，仅靠语义相似度并不能保证记忆的有效性：下游性能取决于记忆的选择方式和呈现方式。我们提出 MemComposer，它在当前查询和检索到的候选记忆之间进行联合考量，决定包含哪些经验、选取多少条以及如何排序。
MemComposer 的组装策略通过 Experience Policy Optimization（ExPO）进行训练。ExPO 基于 GRPO 框架，在完整的代理交互过程中评估组装后的记忆上下文，并利用任务成功的反馈信号来优化策略。
在三个 $$\tau^2$$-bench 领域以及两个冻结的执行器上实验表明，MemComposer 相比每个执行器的最强基线提升了性能，同时平均记忆 token 使用量分别降低了 16.9% 和 4.9%。学习到的策略还能迁移到未见过的领域、执行器和记忆库，并且在使用更强模型生成的记忆时无需额外训练即可受益。
这些结果证明了利用下游任务反馈学习查询特定记忆组装的价值。
点评