神经网络常常学习到单个神经元参与多种功能的表征，这导致人们普遍认为它们缺乏模块化组织。我们提出了一套形式化的层次化模块化概念：
- 单元层级：要求不同计算占据不相交的神经元；
- 正交层级：检验是否存在旋转使功能子空间相互独立；
- 线性层级：判断是否存在有界线性映射能够将任务相关计算分离到独立子空间。
我们构建了统一的学习框架，在每个层级上学习子空间分解，并通过选择性消融进行因果评估。实验覆盖视觉模型、语言模型以及多任务循环神经网络（RNN）。结果显示，即使网络在单元层级上缺乏模块化，仍常在子空间层级表现出明显的功能模块化。
在视觉模型中，内容子空间与风格子空间在子空间消融后出现双重分离；在语言模型中，句法子空间与语义子空间同样呈现分离，尽管它们共享大量神经元。进一步的脑数据对齐表明，内容子空间更好地预测高层视觉皮层活动，而风格子空间对应低层视觉皮层；语义子空间在语言皮层的预测性能也优于句法子空间。
对于先前被认为缺乏模块结构的多任务RNN，我们的分解方法恢复了任务之间的锐利双重分离，说明即使没有专门化的单个神经元，网络仍然可以在子空间层面实现功能隔离。
这些发现表明，单元层级的非模块化并不排除子空间层级的明确模块化，这为针对特定计算的干预提供了新途径，对机械可解释性以及生物与人工神经系统的功能组织理解具有广泛意义。
点评：本研究揭示了神经网络隐藏的子空间模块化结构，为解释和操控深度模型提供了重要工具。