在人类的识字大脑中,阅读和写作是两个可双重分离的系统:一个是受损于纯阅读失认症的腹侧解码通路,另一个是受损于纯书写失用症的前额-顶叶编码通路,它们共享部分正字法核心。然而,解码器主导的大型语言模型 (LLM) 则通过单一的自回归路径驱动这两者,该路径是为了文本优化的,属于一种近期文化发明而非进化本能。我们探讨这一机制的交织程度,将输入侧的“阅读代码” $W_E$ 与输出侧的“写作代码” $W_U$ 进行比较,并通过交织指数 $E \ ext{in} [0,1]$(采用 CKA、Procrustes 残差、互助 $k$-NN 方法)进行校准,设定独立初始化下限和绑定上限。通过对 GPT-2、OPT、Pythia(14M--1.4B)、T5 以及 BERT/RoBERTa 的九个探测实验,两种互补层面在方向上达成一致。对于权重而言,未绑定模型保持一种耦合但低于上限的代码 ($E=0.23$--$0.35$,远高于下限),其轨迹呈非单调的耦合-再分化趋势,$W_U$ 在每个频率十进制中漂移约 $3.2 imes$ 更远。行为上,理解与生成在所有 12 个非退化模型中呈正相关(符号检验 $p < 0.001$)。
博主点评: 本文揭示了大型语言模型在处理阅读与写作任务时的内在机制,提供了对其工作原理的深入理解,尤其是如何将这两种认知功能交织在一起。在未来的 AI 发展中,这一研究可能会影响我们对语言处理的基本认识。