NeFut Logo NeFut
EN 管理员登录

[AI学术] 加权记忆树:长时程 LLM 代理的关键记忆

发布于:2026-08-24 22:00 最后更新:2026-08-29 12:04
#algorithm #LLM #Artificial Intelligence

大型语言模型(LLM)代理能够完成需要规划、工具使用和外部信息访问的多步骤任务。但随着执行历史的增长,推理成本上升,且可能受到过时、无关或误导信息的干扰,导致推理质量下降。现有记忆方法仅对执行历史进行组织或压缩,却缺乏决定哪些记忆保持活跃的机制。我们提出加权记忆树(Weighted Memory Tree,WMT),一种层次化记忆系统,将执行过程划分为任务、子任务和动作,并为每条记忆分配动态保留分数。通过事件驱动的更新和基于选择的衰减来调整分数,WMT 能够保留有用信息、折叠已完成轨迹、抑制低价值内容,并在折叠后仍可访问上下文。我们在 GAIA-Text 基准上使用 Qwen3-8B、Gemma 4E4B 和 Llama‑3.1‑8B 进行评估,并进行消融和记忆中毒实验。相较于线性记忆,WMT 将准确率提升约 9.97 个百分点,同时将提示令牌使用量降低 32.8%。记忆中毒实验表明,WMT 能限制不可靠信息的持久化和传播。结果表明,长时程代理的有效记忆更依赖于选择性激活信息,而非单纯存储更多内容。

博主点评:加权记忆树通过动态保留机制在保持关键信息的同时显著降低了算力开销,为长时程 LLM 代理的实用化提供了有力思路。

原文链接: https://arxiv.org/abs/2608.20631

[h] 返回首页