大型语言模型（LLM）正被广泛部署在企业、科研和医疗等领域，模型需要结合领域特定知识并从交互经验中持续适应。上下文工程通过在推理时提供指令、策略和证据，提供了一种无需权重更新的实用方案，但在线适配通常需要大量试错，且查询往往相互独立，导致有价值的经验难以累积。
记忆系统可以跨交互保留信息，然而传统做法是将新信息不断追加到共享上下文，随之产生的令牌数量激增、上下文窗口限制以及性能下降等问题限制了其可行性。
我们提出了一种上下文优化的统一形式，证明记忆系统的更新可以被解释为对模型上下文的优化步骤，从而为记忆设计提供了一个原理化的研究框架。
基于该视角，我们设计了 GraphMemory——一种轻量级的图结构记忆。它能够累计、精炼、组织并关联可复用的策略；在每次查询时，仅检索与当前问题相关的子图，避免将完整记忆暴露给模型，显著降低令牌开销。
在受限检索条件下，检索到的记忆量随处理样本数保持常数。实验结果显示，GraphMemory 在下游任务上取得与基线相当的性能，同时使用约 81%~85% 更少的记忆构建令牌。
点评