NeFut Logo NeFut
EN 管理员登录

[AI学术] BioSync:基于Transformer的跨模态融合用于多模态生理数字生物标志物

发布于:2026-09-07 22:00 最后更新:2026-09-08 00:37
#Machine Learning #Neural #Artificial Intelligence

可穿戴和移动设备采集的心率、脑电、行为和语音等信号只能提供部分且易受噪声影响的生理状态视角。BioSync 将这些信号融合为 BioSync Index (BSI),在 BEST 框架下定义为连续复合数字生物标志物。模型对每种模态的 token 使用多头自注意力,并额外加入一个线性分支,其假设空间包含传统的特征拼接。该结构受潜变量测量理论启发,假设联合观测蕴含单模态无法捕获的信息。

我们在两个基于文献的合成队列上评估 BioSync:

在认知队列中,BioSync 与拼接的 AUC 分别为 0.928 和 0.926;在代谢队列中,BioSync 的准确率/F1 为 0.764/0.766,对比拼接的 0.756/0.758。BSI 与潜在严重程度的相关系数分别为 $r=0.91$ 和 $r=0.68$。纯注意力消融实验在认知队列得到 AUC 0.911,说明宽深结合的架构提升至 0.928。采用匹配的模态 dropout 训练时,BioSync 在六种认知队列噪声水平中有五种优于拼接,并在代谢队列最高噪声水平下保持领先。其认知队列 AUC 也高于五个已发表的数字生物标志物基准值,尽管数据集和任务不同,无法做严格的基准比较。对单模态、早期融合和后期融合设计的六项预设标准比较揭示了模型的计算特性;在真实队列上的验证仍待开展。

点评

原文链接: https://arxiv.org/abs/2609.04504

[h] 返回首页