组织长期记忆对于多模态智能体仍是难题。现有方法要么需要昂贵的、与查询无关的离线摘要,要么仅靠嵌入相似度匹配,导致上下文不完整且冗余。为了解决这些问题,我们提出 GraphMemix,一种组合优化图记忆框架,将记忆组织建模为查询感知的证据森林构建。
核心包括三部分:
- 候选图构建:通过模式和语义关系扩展多视角种子记忆,获取与查询相关的原始上下文。
- 证据效用与激活成本:将直接记忆支持与锚点条件的关系验证解耦,用以抑制冗余或冲突信息。
- 森林优化:在最大证据预算下联合选择森林形式的记忆子图,并保证其可靠的关系结构。
通过将记忆组织为查询相关的子图,方法避免了大量生命周期开销,并能够恢复低相似度的互补证据。四个长期多模态记忆基准实验表明,在不同基础模型上均实现了显著提升,并在准确率与生命周期成本之间建立了新的 Pareto 前沿。
博主点评:GraphMemix 在保持高准确率的同时显著降低了检索成本,展示了查询感知记忆组织的强大潜力。