NeFut Logo NeFut
EN 管理员登录

[AI学术] 全球计算,局部实现:稀疏事件KV的记忆契约

发布于:2026-07-29 22:00 最后更新:2026-07-30 03:24
#algorithm #AI #Machine Learning

摘要

长时间跨度的智能体越来越多地将其KV缓存用作内存:一个服务系统保留一部分缓存条目并丢弃其余部分。因此,驱逐和情节记忆方案基于一个很少直接测试的前提,即保留的事件在产生其观察结果后仍然具有信息价值。我们通过省略一项早期观察来进行测试,在其他方面相同的智能体历史中进行对比。在对该观察敏感的项目中,答案通常遵循被省略的值,尽管没有提供的跨度说明哪个值是正确的。我们称之为语义物化:下游事件的缓存行作为计算的独立可服务视图,其输入已经消失。

这种情况也可以有意创建。一个经过精心措辞、没有答案的事件在Qwen3-8B上使捐助者对齐的恢复率从6%提高到51%,而被动收集长期对话中的自然提及则没有检测到优势。这样的行所承载的内容是特定且有界的。紧凑的状态得以保存,而较大的负载则趋向于随机,是否进行构建取决于措辞而不仅仅是意义,因此模型同样理解的两种措辞可能会显著不同。

结果是稀疏事件KV服务的记忆契约:写入什么、落在哪里,以及一旦源消失后什么能够存活。对于任何驱逐的情况,推论是丢弃源事件并没有观察到准确性损失并不意味着源是多余的。

博主点评: 本文探讨了智能体如何利用KV缓存作为记忆,提出了一个新颖的记忆契约概念,强调了信息的语义物化及其对智能体性能的影响。这种研究为智能体的记忆机制提供了新的视角,值得深入关注。

原文链接: https://arxiv.org/abs/2607.23693

[h] 返回首页