持久代理在信息流入时必须决定哪些信息需要保留,同时在查询出现时需要决定哪些信息应被呈现。然而,现有的记忆评估往往通过比较在保持策略和检索策略上同时不同的方法,导致两者的影响相互混淆。
我们构建了一个跨越保持规则和选择规则的 streaming‑recall 基准,并在相同的 300 条种子剧集上对每一种条件进行评估,从而实现了公平比较。
实验结果显示:在访问权限固定的前提下,查询感知的选择能够将必需事实的召回率提升 15.5 个百分点(95% 置信区间:12.8–18.2),而如果同时改变历史访问权限的混合比较则报告了 68.7 点的优势,其中 53.2 点归因于访问权限的变化。
在受限保持的情形下,查询感知、密集以及 oracle 选择均达到了保持上限;所有在受限最近性条件下观察到的 319 起失败均是由于信息被驱逐导致,而非排序错误。随着目标信息逐渐远离当前时间窗口,召回率最终降至 0%。
在 SQuAD 数据集上重复评估,同样保留了保持上限,并且发现密集检索在自然文本上可以超越传统的词汇检索。
这些发现表明,有限记忆的评估应当固定访问权限,并分别报告保持性能和检索性能。
点评