生物智能能够在不断获取新信息的同时,通过局部可塑性保持已有技能。相比之下,大语言模型(LLM)的持续学习仍然面临灾难性遗忘的风险。一个有前景的思路是识别 LLM 中功能上专门化的子网络,从而实现有针对性且资源高效的适应。我们使用梯度归因剖析(gradient‑attribution profiling)定位了与认知相关的功能子网络,这些子网络之间的相互重叠极低。基于此发现,我们提出了 功能隔离记忆高效优化(CiMEO) 框架:每条训练样本都会被路由到对应的功能子网络,参数更新和优化器状态仅限于选定的子网络区域。
在 140 万条顺序指令的实验中,CiMEO 在包括编程、考试式任务和数学推理在内的五个生成基准上取得了最高的平均性能,并显著缓解了灾难性遗忘。子空间重叠度和主角度分析进一步表明,局部更新有助于保持预训练表征,凸显功能子网络定位是实现 LLM 高效、稳定持续学习的实用途径。
点评:CiMEO 通过精细划分功能子网络,实现了在不破坏已有知识的前提下高效学习新任务,为大模型的长期适应提供了可行路径。