摘要
在侵入式神经记录中,由于电极配置、解剖结构和神经信号模式在个体间存在显著差异,因此跨个体的泛化仍然面临挑战。为了解决这一问题,我们提出了一种跨主题语义解码框架,该框架将来自多个个体的神经反应对齐到共享潜在空间,并学习从对齐的神经表征到上下文嵌入的映射。
具体而言,利用在自然语言理解期间收集的皮层电图数据,我们使用共享反应模型来估计共享空间,并训练解码器从投影的神经反应中预测上下文语义嵌入。对于一个被保留的个体,我们估计一个特定于个体的投影到预定义的共享空间,并直接应用预训练的解码器,无需重新训练。
实验结果表明,所提出的框架在评估设置中始终优于基线方法,并且从源个体到被保留个体测试的性能下降显著减少,表明跨个体的泛化能力得到了改善。这些结果表明,将神经活动对齐到共享潜在空间,同时在语义嵌入空间中解码,提供了一种有效策略,通过减少神经反应中的个体差异,同时有效捕捉共享刺激相关的表征,从而改善跨个体的泛化能力。
博主点评: 本文提出的框架通过共享潜在空间对齐,显著提升了神经信号的跨个体泛化能力,具有重要的应用前景,尤其在脑机接口和神经康复领域。