摘要
联邦微调多模态大语言模型（MLLM）在分布式网络中实现了对隐私敏感的数据流的适应，但在动态环境中存在的根本障碍是灾难性遗忘，即序列任务更新会抹去先前获得的知识，影响视觉、语言和跨模态表示的稳定性。解决这一挑战对在安全敏感领域（如内容审核）中运行的自主网络化AI尤为重要，因为可靠保留先前知识是系统完整性的基础。
为此，我们提出了联邦持续多模态学习（FedCMM）框架，该框架在联邦优化循环的三个互补层面嵌入了持续学习的保障。
-
参数层面：模态感知的弹性权重整合计算视觉编码器、语言主干和跨模态投影器的独立Fisher信息矩阵，提供针对模态特定遗忘的细粒度、非对称保护。
-
数据层面：每个客户端训练一个轻量级的本地生成重放模块，以合成无原始数据共享的嵌入级多模态重放元组。
-
聚合层面：任务相似性感知的梯度聚合通过梯度余弦相似性自动过滤和重新加权客户端更新，抑制冲突方向，稳定全局学习轨迹。
在两个基准上的广泛实验表明，FedCMM在准确性和反向迁移方面始终优于最近的基线，证实了整体、模态感知的优化使得在异构网络化AI部署中实现稳健的演化适应成为可能。
博主点评： 本文提出的FedCMM框架通过多层次的优化策略有效应对了灾难性遗忘的问题，为在动态环境中部署多模态AI系统提供了新的思路。其结合了弹性权重整合和合成重放的创新方法，显示出在保持系统知识完整性方面的潜力，值得在实际应用中进一步探索。