摘要
脑电图（EEG）模型在癫痫检测中的应用通常局限于特定数据集和任务，这种限制使得模型在不同数据集或场景下的应用变得困难。近期的基础模型与自监督学习研究表明，一个可适应的EEG基础模型能够支持多种EEG相关任务。本文开发了一种多模态EEG基础模型，结合了基于Mamba架构的原始信号编码器、用于时频数据的Vision Transformer (ViT)风格编码器，以及一个轻量级文本编码器，所有编码器在共享的嵌入空间中工作。
预训练过程中采用了多项创新技术，如掩蔽建模、跨视图对比对齐和时间一致性损失。这些方法旨在创建丰富的与癫痫相关的表征，而无需标注数据。为了评估我们预训练模型的有效性和泛化能力，我们在CHB-MIT癫痫检测基准和其他癫痫检测数据集上进行了微调，并进行了广泛的实验比较不同模型变体。在标准的CHB-MIT分割上，我们的最佳单模型达到了0.874的AUROC，而集成变体达到了0.878 AUROC，代表了该基准的最新性能。
此外，除了标准的训练-测试分割外，我们还在罕见的“留一法”（LOSO）协议下评估了性能，该协议在先前的EEG癫痫建模工作中鲜有报道，突显了患者独立癫痫检测的难度，19名受试者的平均LOSO平衡准确率为0.558。在各个数据集和评估设置中，我们的多模态基础模型实现了稳健的癫痫检测，并能够轻松适应新的癫痫检测场景，同时支持可解释的癫痫定位。
博主点评： 本文展示了多模态预训练在EEG表征学习中的巨大潜力，通过创新的模型架构和无监督方法，显著提高了癫痫检测的准确性和适应性。这样的研究为临床应用提供了新的思路，值得关注。