在通常情况下，学习到的世界模型是通过其重建观察或预测奖励的能力来评估的，仿佛模型的质量是一个简单的二元特征。然而，任务对模型的需求实际上更为狭窄：即其查询依赖的少量预测坐标，我们称之为闭包。我们展示了，潜在变量所代表的闭包的程度并非由模型的容量或其观察所决定，而是由其训练目标的维度所设定。我们在控制环境中，通过已知的真实闭包，直接在 DreamerV3 堆栈上进行了测量。一个对齐的标量值信号——价值等价的核心目标，仅安装了一个闭包的一维投影，而该闭包需要多个维度：通过单一线性探测器读取时，恢复的结构从 $R^2=0.10$ 提升至 $0.76$，当标量被完整目标替代时。将目标的维度从一维扩展到四维，通过辅助头安装了正好相同数量的预测方向，模型自身的价值头也出现了相同的阶梯效应——尽管幅度减弱，但秩却保持不变，因此这种解离是维度性的，而非头部形式的伪影。通过容量匹配的比较和原位压力检查，排除了明显的替代方案。该法则支配着一个特定的范畴，我们测量了其边界：在一个伴随的闭环任务中，其结构逐帧可观察时，重建安装了该结构，而标量目标足够——目标决定了潜在变量所代表的内容，正是在这里，较便宜的训练信号无法恢复的地方。因此，价值等价并非全有或全无，而是维度性的：熟悉的单一奖励目标是其秩一的角落，而模型所安装的任务结构的多少，正是其被要求预测的目标所决定的。
博主点评： 本文深入探讨了世界模型与任务之间的复杂关系，提出了维度性价值等价的概念，强调了训练目标的选择对模型表现的重要性。这一洞见为模型设计提供了新思路，尤其在强化学习和自监督学习的应用中，研究者可以通过调整目标维度来优化模型性能。