NeFut Logo NeFut
EN 管理员登录

[AI学术] BrainBind:通过长时自然视频表征连接同步EEG与fMRI

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #Neural

实时视觉场景复杂且动态,EEG 与 fMRI 在时间与空间分辨率上互补。传统神经解码多数只对单一模态进行对齐,且多基于静态图像或短片段。我们关注同步情形:在同一次长时自然视频观看过程中同时记录 EEG 与 fMRI,得到共享刺激并伴随重复的叙事上下文以及大量语义相似的候选片段。\n\nBrainBind 框架将同步的 EEG 与 fMRI 投射到预训练的长时视频嵌入空间,并把这些嵌入视作公共的视觉‑语义参考,而非直接的神经代码。\n\n在 CineBrain 数据集上进行评估,使用五种种子构造的 Recall@K 矩阵(2×4),涵盖两段视频锚点和四种系统配置,呈现出明显的检索差异。Omni 配置在全体候选列表上组织效果最强,$MRR=23.82$,$nDCG@10=25.31$;Joint‑Dual 在标签感知的 $R@1$(13.52%)上最高,并展现出独特的全排名分布。\n\n通过对不重叠剧集的评估,量化了重复刺激身份与叙事上下文对随机划分的贡献。实验表明,代理选择和系统配置在同步数据集内产生不同的前排和全排名检索特征。代码已开源于 https://github.com/Forainest789/Brainbind。\n\n**点评**:BrainBind 将神经信号映射到统一的视觉语义空间,为跨模态检索提供了新思路,尤其在长时自然视频情境下展示了可观的检索性能。未来可进一步探索更细粒度的时间对齐和多模态融合策略。

原文链接: https://arxiv.org/abs/2611.05581

[h] 返回首页