摘要
语言代理运行一个循环——观察、推理、行动，但它们推理的内存通常在循环之外：每轮最多查询一次的存储。我们研究将内存移入循环的情况，在每一步都进行读写。其障碍一直是延迟：网络存储的响应时间在几十到几百毫秒，而在循环中进行检索可能会使端到端延迟增加多达83倍。
以往的研究管理这一成本，而不是质疑它：服务层调度隐藏了延迟，“以记忆为先”的设计将检索限制为每轮一次。我们认为，延迟是存储位置的特性，而不是循环模式的特性：在进程内的存储大约以100微秒的速度响应，比网络环境低三个数量级，在这种速度下，每步的成本显著降低。
根据扩展思想的平价原则，足够快以便持续和直接可用的存储成为扩展工作记忆，而不仅仅是代理咨询的工具。这个前提是因果的：在固定的每轮内存延迟预算下，仅改变存储的响应速度，冗余操作随着延迟单调增加——在进程内速度为0.0/12，在110毫秒的云回程时为7.2/12（gpt-5-nano, gpt-5-mini；确切排列p=0.0079）。
我们在端到端的情况下展示了这一机制：在有限窗口下，四个GPT-5级模型的回忆率从0/5提高到3.6-4.8/5，存储操作在p50为80-165微秒——尽管一个指示的重新陈述每个回复的基线也能完美解决这一问题，但其代价随着工作集的增长而增加。
存储在任何运行中都没有丢失一个事实（244次写入均保持）；每次未命中都追溯到代理的读取策略，而非存储。我们的测量还重新定位了瓶颈：主导的每步成本是嵌入（在网络上约200-400毫秒）；将进程内存储与小型本地嵌入器结合，使整个操作的测量时间回归约40微秒。
博主点评： 该研究深入探讨了内存在语言代理中的重要性，提出了通过将内存检索集成至循环中来显著降低延迟的方法。这一创新不仅优化了内存使用效率，还为未来的语言模型设计提供了新的思路，尤其是在处理实时任务时。通过减少网络延迟，代理能够更快速地响应，提升了整体性能，值得关注。