在纵向阿尔茨海默病(AD)诊断支持中,临床与影像信息通常在不规则的访视中收集。整合这些多模态观察结果可能提升诊断评估,但简单的融合在MRI噪声较大或间歇性不可用时可能会降低性能。
我们提出了AT-Attn,一个时间感知的多模态框架,结合了变化与时间编码、时间偏见的非对称交叉注意力以及门控融合,以整合MRI与纵向临床信息。
我们在一个包含1,520名患者的MRI保留ADNI队列上评估了AT-Attn,使用结构性MRI、六条认知量表轨迹以及七个静态临床变量,采用患者级五折交叉验证。
主要的非对称AT-Attn模型实现了0.719±0.024的准确率、0.721±0.023的宏观F1值、0.873±0.013的ROC-AUC以及0.783±0.018的PR-AUC,超越了单模态与简单多模态融合基线,同时在强表格基线下依然具有竞争力。
这些结果表明,时间感知与约束融合策略可以帮助结构性MRI为患者级AD诊断支持提供临床相关的补充信息。
博主点评: AT-Attn框架通过时间感知的交叉注意力机制显著提升了阿尔茨海默病的诊断准确性,尤其是在面对不规则数据时。其创新的门控融合方法为多模态数据整合提供了新的思路,值得在其他临床应用中进一步探索。