摘要
从非侵入性脑电图（EEG）解码自然语言仍面临低信噪比和信息带宽有限的挑战。这引出了一个核心问题：能否可靠地从这些信号中恢复句子级的语言？在现实的信息限制下，直接恢复的假设可能过于强大。我们提出了一个语义压缩假设：非侵入性EEG可能保留可恢复的语义锚点，而非句子的完整词汇-句法形式。从这个角度来看，直接句子重建相对于EEG可恢复信息的规模而言过于细致。
为了解决这一不匹配，我们提出了Brain-CLIPLM，一个两阶段框架，将EEG到文本的解码分解为语义锚点的恢复和锚点引导的句子重建。第一阶段使用对比学习将词级EEG证据与固定关键词词汇对齐，从而恢复有序的语义锚点。第二阶段利用检索基础的大型语言模型及链式思维提示，从这些锚点重建句子意义，遵循一种粒度匹配原则，将解码复杂性与可恢复的神经信息规模对齐。
在结合的苏黎世认知语言处理（ZuCo）基准上，Brain-CLIPLM取得了67.6%的Top-5和85.0%的Top-25句子检索准确率，在中间锚点粒度时表现最佳。控制分析显示，EEG派生的锚点携带超出语言模型先验的句子特定信息。在受限的ZuCo句子池和固定关键词词汇设置下，这些发现表明EEG到文本的解码更适合被框架为恢复压缩的语义内容，然后进行锚点引导的句子重建。
博主点评： Brain-CLIPLM的提出为EEG信号处理开辟了新的思路，通过将解码过程分为语义锚点恢复和句子重建，不仅提升了准确性，也符合信息恢复的实际限制。这一框架为未来的脑机接口研究提供了重要的理论基础和实践指导。