摘要
Agentic AI 系统正在通过部署自主智能代理重塑通信和网络，能够在保持数据隐私的前提下进行协同学习。多模态大型语言模型（MLLMs）作为边缘设备的认知引擎，在分布式网络环境中发挥作用，但在异构网络条件下，联邦微调面临着在全球知识聚合与本地适应之间平衡的重大挑战。传统的联邦协议通常依赖于统一的参数聚合，这会将领域不变特征与客户端特定细节混淆，从而导致个性化效果不佳和过大的通信开销。
为了解决这些挑战，我们提出了 PFAdapter，这是一种通信高效的框架，采用分层 LoRA 分解，明确将适配器参数分为全球共享和本地私有两个组件。查询和关键投影被分配用于全球同步，以捕捉网络中的通用多模态语义，而值和输出投影则保持本地化，以实现边缘特定的适应。此外，基于 Frobenius 范数的正交性正则化严格区分这些组件，防止冗余特征学习。选择性聚合协议仅在联邦网络中同步全球共享组件，从而保留本地专业知识，并将通信成本减少近 50%。
在 VQA-RAD、SLAKE、Hateful Memes 和 CrisisMMD 数据集上的大量实验表明，PFAdapter 一直优于最先进的基线，准确率提高范围为 2.4% 到 4.8% 之间，适用于多种边缘智能任务。因此，我们的框架为在资源受限的通信网络中部署智能 AI 提供了高效的解决方案。
博主点评： PFAdapter 通过创新的分层 LoRA 分解有效解决了联邦学习中的个性化问题，显著降低了通信开销，同时提升了模型性能。这一框架为未来的边缘计算和智能代理系统提供了新的思路，值得关注。