在本文中，我们解决了多模态联邦学习中缺失模态的问题。现有方法通常依赖额外的公共数据集或仅基于可用模态进行简单的特征合成，这些方法存在一定的局限性。为此，我们提出了 ProMoE-FL，一个原型条件混合专家框架，用于在多模态联邦学习中进行鲁棒的缺失模态特征合成。
ProMoE-FL 构建了一个全球客户端感知的原型库，捕捉跨机构的临床意义模态先验。我们的混合专家模型基于这些原型和模态索引进行条件化，以实现方向感知的专家路由，动态合成缺失特征。我们在四个公共胸部 X 射线数据集（MIMIC-CXR、NIH Open-I、PadChest 和 CheXpert）上进行了广泛的定量和定性评估，结果表明 ProMoE-FL 在同质和更具挑战性的异质设置中均优于最先进的方法。
博主点评： ProMoE-FL 的提出为多模态联邦学习提供了创新的解决方案，尤其是在处理缺失模态方面。通过构建原型库并进行条件化路由，显著提高了特征合成的鲁棒性，具有广泛的应用潜力。其在多个数据集上的优越表现，证明了这一方法的有效性和前瞻性。