摘要
一轮联邦学习（OSFL）通过限制训练为单轮来解决联邦学习的通信开销，但在不牺牲模型质量的情况下实现这一目标并不简单，尤其是在客户端数据分布存在差异时。
最近的研究通过构建可转移的合成数据集或蒸馏物在服务器上聚合客户端知识，解决了这一挑战。然而，大多数方法缺乏正式的隐私保障，导致在实现低通信、对异质性的鲁棒性和严格隐私之间存在差距。
我们提出了FedKT-CSD（通过协作合成数据进行联邦知识转移）框架，灵感来源于神经图像压缩。该框架通过利用公共预训练的自编码器作为共享潜在空间，来弥补这一差距。
每个客户端在单次前向传递中对其私有数据进行编码，计算类条件潜在统计量，并将这些信息传输给服务器。服务器通过安全聚合汇总这些统计量，添加经校准的差分隐私噪声，并解码出合成数据集用于训练全局模型及后续任务。
这种设计在构建上提供了正式的 $(\varepsilon, \delta)$-差分隐私，同时保持客户端计算和通信的轻量级。尽管在隐私约束下操作，FedKT-CSD与非隐私基准模型在多样的数据集和异质性设置中表现相当，甚至优于它们，并且能够扩展到大量客户端。
我们的代码可在以下链接获取：FedKT-CSD GitHub
博主点评：FedKT-CSD框架在联邦学习中有效解决了隐私与性能之间的矛盾，通过协作合成数据生成，不仅提高了模型的训练质量，还确保了数据隐私的严格性。这一创新性方法为未来的联邦学习研究指明了方向，具有广泛的应用潜力。