摘要
Platonic Representation Hypothesis (PRH)认为，随着模型规模的扩大，异构网络的表示趋向于共享的现实模型。我们提出其续篇和边界，即Capability Convergence Hypothesis (CCH)：在固定的每标记推理预算下，表示的收敛并不意味着能力的收敛。能力趋向于一种类别，即访问完备混合模型：任何同时具备压缩的 O(1)-状态通道和可扩展逐字索引通道的架构。
我们将其锚定在一个见证任务上，即无限流中的牛顿苹果问题，并命名为三种资源墙：
- 香农墙：阻止任何 o(Nb)-状态架构；
- 视界墙：阻止任何固定窗口；
- 电路墙：阻止固定深度的仅注意力组合（条件为 TC0 ≠ NC1）。
在显式可分离假设下，混合架构通过支付每个墙的代价跨越所有三种墙，因此能力在组合下是严格超加性的。我们区分已证明的内容与猜想：访问完备性原则基于信息论下限和预注册实验，而领域级的收敛趋势则是经济动机驱动的猜想。
我们报告了首个预注册的小规模测试，测试标准在数据之前被冻结：预测的剪刀差被测量（确切检索误差 0.994 对比 0.000，当 64-标量状态增加一个全局注意层时），状态跟踪的分岔落在注册边界上，而一个结合见证显示出不可约的双通道解决方案；有一个预测失败且方向反转，并如实报告。表示的收敛是通过规模自由获得的；能力的收敛必须通过访问结构来实现。
博主点评： 本文提出的能力收敛假说（CCH）为混合序列模型的能力与结构之间的关系提供了新的视角，明确了在资源限制下如何实现能力的提升。通过预注册实验的验证，增强了理论的可信度，值得进一步关注其在实际应用中的潜力。