多模态联邦学习旨在利用分布式数据提升模型性能。现有方法假设模型同构且模态分布均衡，难以应对客户端架构异构和模态严重不平衡的实际场景。为此我们提出多模态联邦学习原型引导双向对齐（MFedPBA）框架。MFedPBA 通过双重对齐实现稳健的知识协同。
在特征层面，使用投影编码器将异构特征空间映射到统一空间，优化目标结合对比学习和 Gromov‑Wasserstein 距离。
在决策层面，基于自然对齐的 logits 原型进行熵加权聚合。该设计同时解决特征空间异构和决策聚合问题。
大量实验表明，在模型异构和模态不平衡条件下，MFedPBA 显著超越最新基线。点评