近年来,信道基础模型(CFMs)迅速发展,研究表明预训练在下游无线任务中具有显著优势。然而,CFMs 通常在特定的模型评估流程中进行评估,这些流程使用不同的数据、无线配置、划分、适应程序、任务定义和评估指标。因此,已有的比较往往显示预训练在某一管道中优于从头监督训练,但并未对 CFMs 进行合理排名或与任务特定模型进行公正比较。
为了解决这一差距,我们推出了 CFM-Bench,这是一个统一的多领域多任务基准测试。它策划了六种信道配置,涵盖 3GPP 统计仿真、两个独立的射线追踪流程、工业和空中测量,以及同步的车辆多模态仿真。官方的划分方式隔离完整的轨迹、测量会话、车辆链路、仿真实现或缓冲的空间区域。CFM-Bench 不建议使用外部预训练语料库或策略;任何基准划分均不得用于基础模型的预训练,官方训练划分仅保留用于下游微调。
基准测试还要求披露在模型开发过程中使用的所有数据,并禁止在训练阶段使用官方测试单元。六个任务组按照三种 CFM 应用维度组织:物理层(PHY)信道智能、无线接入网络(RAN)决策智能,以及集成感知与通信(ISAC)。这些任务涵盖了 CSI 反馈、频率和时间信道外推、传播状态分类、当前及未来波束预测,以及单帧和时间定位等内容。CFM-Bench 为比较信道表示在不同模型、领域和任务间的可迁移性提供了共同平台。
博主点评: CFM-Bench 的推出标志着信道基础模型评估的重大进步,通过标准化评估流程,促进了不同模型之间的公平比较。这不仅提高了研究的透明度,也为未来的无线通信技术发展奠定了坚实基础。期待更多研究者利用这一基准来推动领域进步!