本文介绍了 MemCryst 框架,旨在通过记忆与技能的双向学习实现终身上下文适应。终身 LLM 代理需要在有限的上下文窗口内利用不断增长的交互历史。记忆提供过去经验,技能提供可复用的过程,但单独使用时可能缺乏任务特定信息。MemCryst 将记忆记录和学习到的技能共同构成上下文,并在每次决策后根据任务结果调整记忆的检索权重,而不修改记忆本身。框架核心包括:
- 将重复出现的情节存入记忆库,用于生成或修正技能;
- 使用技能引导交互,产生新的记忆条目供后续学习。
实验覆盖十个场景,包括具身控制、长文阅读、对话、数学和代码等。结果显示,在 ALFWorld 环境中,记忆与技能联合使用的成功率为 63.17%,优于仅记忆 59.83% 和仅技能 50.50%。代码已开源:
https://github.com/tianyi0216/Memcryst.git
点评:MemCryst 展示了记忆与技能相互促进的潜力,为 LLM 的终身学习提供了可扩展的路径。