长期运行的 LLM 智能体会把过去的交互压缩成持久记忆,并在后续任务中将其作为前提使用。这导致一个独特的推导问题:记忆是否真的来源于交互历史所支持的内容。相关证据可能散布在早期交互中,而压缩过程可能引入历史从未确立的关系或事件状态。于是,一个看似有效的记忆可能因引用遗漏关键证据而显得缺乏支持;相反,若干单独支持的事实被组合后,可能形成历史从未证明的更强断言。我们通过三项耦合要求来刻画该问题:证据范围、组合有效性和录入可靠性。核心问题是:写入时可得的交互历史是否足以支撑进入持久记忆的内容。为此我们提出 DerivAudit 框架,用于审计记忆是否真正得到当时历史的支持。审计分为三类问题:证据是否超出作者提供的引用、组合记忆是否引入未支持的含义、写入时的录入决策如何影响后续记忆使用。对两个自然记忆语料库进行审计时,扩展至更广的写前历史后,约 60% 的记忆在仅凭引用看似不支持的情况下被发现有支持,而仍有 17%‑21% 在扩展后仍缺乏支持。然而,仅靠证据扩展并不能提升录入可靠性:在多种验证模型下,未支持的记忆仍频繁被录入,且在两种主干模型上,证据扩展反而加剧了该问题。
点评