EEG 视觉解码旨在从非侵入式神经时序信号中恢复视觉语义,关键在于将嘈杂的脑电响应与稳定的语义表征对齐。现有对比学习方法多依赖固定的视觉或文本锚点,这些锚点的语义关系在不同试次、受试者和学习阶段会与 EEG 表征产生错位,导致对齐不稳。实验表明,无论是常规的 EEG 解码协议,还是跨受试者迁移和个性化持续适应等更具挑战的鲁棒性设置,都存在此类不稳定。形式化分析进一步指出,固定的语义监督会在 EEG 关系演化时偏置优化,而结构无关的扰动会破坏语义关键的 EEG 成分。为此我们提出渐进式对比对齐(ProCA),它是一个统一且模型无关的自适应神经‑语义对齐框架。ProCA 通过从冻结的视觉‑语言先验逐步细化到 EEG 感知的语义关系,实现类级对比监督的渐进式更新,并引入结构一致的插值机制,根据通道和时间的重要性约束特征混合。 在受试者依赖、受试者独立、严格跨受试者迁移以及持续适应四种设置下,ProCA 分别实现了 Top‑1/Top‑5 相对提升 7.4%/3.9%、10.0%/4.6%、28.1%/17.8% 和 16.8%/11.6%。
点评