脑机接口通过解码神经活动实现信息提取,但传统的类标签监督(CLS)只能隐式捕获类别之间的关系。我们提出 语言作为监督(LaS) 方法,将神经特征与自然语言的类别描述对齐,通过学习的投影映射,将神经信号映射到文本空间,并使用候选文本原型进行类别预测。
我们在视觉、运动和语音三类任务上分别使用头皮和颅内记录,评估了七种编码器架构的独立模型。实验表明,LaS 在语音解码上相较于等效的 CLS 基线提升最高 $17.15\text{pp}$。该表示能够实现候选集合的复用,并支持基于标签的受试者和会话自适应。此外,LaS 还能在稳态视觉诱发电位(SSVEP)任务中实现条件性的未见频率解码,前提是类别描述与真实类别保持一致。双侧归因可视化展示了神经信号和文本描述在同一匹配分数中的贡献。
这些结果表明,文本描述可以作为一种通用的参考,用于神经解码的学习和解释。
点评