在持续学习的环境中，模型需要足够的可塑性来学习新任务，同时又要保持稳定，以免干扰已学得的能力。我们认为，这一困境源于架构的限制。有限的网络拥有有限的表征和可塑资源，而所需的能力依赖于未来任务流的未知属性：将会遇到多少任务，以及它们在特征空间中的重叠程度。基于正则化的方法在固定容量架构中保留过去的知识，因此隐含依赖于为未知未来设计的Oracle架构。
当任务之间的关系较弱时，固定架构会逐渐耗尽可塑资源；而当任务较少或高度重叠时，模型往往会过度配置。受到生物学中神经发生的启发，我们提出了NORACL，旨在通过神经元生长解决稳定性与可塑性之间的困境，进而应对Oracle架构问题。NORACL从一个紧凑的网络开始，仅在监测到表征和可塑性饱和的两个互补信号时进行生长。
我们将NORACL与固定大小的Oracle基线在不同任务数量和几何形状下进行评估。在所有设置中，NORACL的最终平均准确率均优于或与Oracle提供的静态基线持平，同时使用更少的参数。此外，NORACL生成的架构具有可解释的生长特性，即不同任务主要扩展特征提取层，而依赖于共同特征的任务则将生长转移到后期的特征组合层。我们的分析进一步解释了为何固定容量网络在任务积累时失去可塑性，而NORACL则通过生长为新任务创造新的容量。这些结果表明，自适应神经发生推动了持续学习中稳定性与可塑性之间的Pareto前沿。
博主点评：NORACL的提出为解决持续学习中的稳定性与可塑性困境提供了创新思路，通过模拟生物神经发生机制，展现了在资源有限的情况下仍能有效应对多样化任务的潜力。这一方法不仅提升了模型的性能，还为未来的研究提供了新的方向，值得进一步探索与应用。