本文探讨 Transformer 在存储事实知识方面的效率，并分析其对模型设计和系统极限的启示。先前的研究发现，记忆事实的数量与模型参数呈线性关系，这远逊于理论上可能达到的水平。为重新审视经验尺度，我们开展了系统化实验，使用贝叶斯优化进行大规模超参数搜索，确定能够完美记忆给定事实集合的最小模型，并测量该最小规模随事实数量的增长规律。
在合成数据集上，我们随机抽取独立的 (主语, 关系, 宾语) 三元组，例如 (Paris, capital_of, France)，这些数据不含可利用的结构。实验表明，记忆容量——即模型能够完整记忆的数据集规模——随 Transformer 维度呈指数增长。等价地，记忆 $N$ 条事实所需的最小维度 $d_{\min}$ 与 $N$ 的关系为对数形式：$d_{\min}\propto \log N$。在跨越 $N=45$ 到 $49{,}920$ 的 11 种数据规模上，缺失拟合 F 检验未能拒绝带偏移的对数模型，而对幂律等其他备选模型均被显著拒绝。
在深度维度上，保持宽度不变时，可记忆的最大数据规模随层数的增长呈亚线性趋势。进一步，我们将实验扩展到包含对称关系或两跳组合的结构化数据。结果显示，Transformer 能够利用这些规律性进一步提升记忆容量。所有复现实验代码已开源于 https://github.com/Magronox/transformer_information_capacity。
点评：本研究通过严谨的实验方法揭示了 Transformer 记忆能力的对数尺度特征，为理解其信息上限提供了重要参考，也提示在设计更高效模型时应关注宽度而非单纯加深网络。