摘要
联邦持续学习（FCL）旨在评估分布式客户端如何从变化的数据流中学习，同时保留之前学到的知识。现有评估方法的比较困难，因为它们通常会同时改变数据集、任务划分、客户端数据划分、任务顺序、模型骨干、内存假设以及报告规则。
我们引入了 HERO，一个针对 FCL 的异构感知基准库。HERO 通过分离三个常常耦合的选择来构建基准流，分别是任务划分、客户端数据划分和客户端任务序列。在 HERO-Core 中，主要的可比较基准中，$\eta$ 控制客户端数据偏差，$\rho$ 控制任务顺序不匹配。
我们在 CIFAR-100 和 TinyImageNet 上评估了代表性的 FCL 方法，使用了最终平均准确率、平均遗忘率和底部 10% 客户端准确率。我们还包括了一个基于图的 Domain-IL 可移植性案例研究，使用 OGB-MolPCBA，其中支架领域粒度改变了输入分布，而预测任务保持不变。我们的结果表明，在简单和异构设置下，方法行为有所不同，平均准确率可能掩盖弱底部客户端的表现，任务顺序不匹配会偏向于与同步评估不同的策略，并且相同的 HERO 接口可以揭示超出基于图像的 FCIL 的领域转移难度。
HERO 发布了基准流、配置、方法实现和报告脚本，以支持可重复和设置感知的 FCL 评估。
博主点评： HERO 提供了一种灵活且全面的方式来评估联邦持续学习方法，尤其是在异构数据环境下。通过明确分离各个因素，研究者可以更清晰地识别和优化模型表现，推动这一领域的进一步发展。