摘要
自组织是生命的一个重要特性，由个体组件在局部信息的驱动下表现出的集体行为所形成。生物神经元通过突触传递的局部交互，能够高效学习并在有机体的生命周期内适应其连接。
受到这种适应性和局部交互特性启发，神经元细胞自动机（NCA）模型成功地通过局部更新规则学习形态发生，展示了在多次更新中的稳定性和对扰动的鲁棒性。
在这项工作中，我们引入了Meta Neural Cellular Automata（MetaNCA），一个学习局部规则以自组织人工神经网络权重的框架。学习到的规则网络通过计算图上的局部交互迭代更新任务网络的权重。我们提出了一种新颖的权重变换器架构，用于局部规则网络，该网络利用线性注意力聚合来自相邻权重和隐藏状态的信号。
经过训练后，规则网络能够生成多样化架构的任务网络，而无需反向传播。我们展示了MetaNCA能够为MNIST和CIFAR-100生成前馈多层感知机（MLP）、卷积神经网络（CNN）和残差网络（ResNet）的权重，且可扩展至200万个参数的网络。
此外，我们进一步证明了MetaNCA能够对未在元训练中见过的架构进行泛化，而训练阶段的架构多样性增强了这种泛化能力。
博主点评： MetaNCA 的提出为神经网络架构的自组织提供了一种全新的视角，尤其是在不依赖反向传播的情况下实现了架构的多样性和泛化能力，预示着未来神经网络设计的潜力与方向。它不仅赋予了网络更高的适应性，也为进一步的研究提供了丰富的可能性。