世界模型让观察者能够在生成的世界中探索和交互。最近的研究发现，当观察者再次进入同一区域时，现有模型往往无法一致地重新生成该区域。我们将此视为上下文检索问题。LLM 代理在其堆栈的两个层面管理上下文检索：模型层的 KV 缓存决定了内存能容纳多少上下文；代理层（如 Claude Code）负责挑选发送给 LLM 的上下文。此前的工作主要关注模型层。
本文的三项贡献如下。第一，我们构建了一个基准，用于衡量世界模型的上下文检索能力。该基准在每个回合生成全新世界，防止模型通过训练数据记忆房间，并将上下文检索与基于相邻帧的猜测分离。第二，我们实现了一个代理层工具，实现对世界模型的上下文压缩——这是此前未有的研究。第三，利用该基准对四种世界模型设计进行评估。
实验表明，上下文压缩使模型在不重新训练的情况下，能够检索到超出原始上下文窗口四倍的房间信息。然而，采用滑动窗口注意力的模型在“梦境”阶段会失去大部分检索能力。因此，对于需要梦境推理的世界代理，扩展模型的检索范围（通过上下文压缩）比在模型层切换为滑动窗口注意力更有益。
点评