内存对于大型语言模型支持长时间推理至关重要，但现有的内存系统却不可靠且难以调试。追踪内存的动态演变是理解信息如何在时间上合成、传播或被破坏的关键。本研究探讨了在大语言模型内存系统中进行错误追踪和归因的新问题。
我们提出了一种新颖的框架，将内存管道转化为可执行的内存演变图，从而实现操作信息流的细粒度追踪。接着，我们构建了 MemTraceBench，这是一个基于 Long-Context、RAG、Mem0 和 EverMemOS 等代表性内存系统收集的基准，以系统性地研究内存故障模式。
此外，我们引入了一种自动归因方法，迭代追踪操作子图，以准确定位任何失败案例的根本原因。我们的分析揭示了内存故障是系统性的，源于操作级别的问题，如信息丢失和检索不对齐。关键的是，我们利用这些细粒度的归因信号来指导下游提示优化，建立了一个闭环系统，自动修正故障并将最终任务性能提升高达 7.62%。代码将于 GitHub 发布。
博主点评： MemTrace 提供了一种创新的方法来分析大语言模型内存中的错误，尤其是在处理复杂的内存系统时。通过细粒度的追踪和自动归因，它不仅能提高系统的可靠性，还能显著提升模型在实际任务中的表现，展现了内存管理在 AI 领域的重要性和潜力。