摘要
生成模型能够对复杂的神经影像数据进行编码，以实现特征生成和重构。然而，开发最佳的架构框架以及适当的编码和潜在空间处理，对于研究大脑的结构和功能特性至关重要。我们设计了一种多模态生成框架，以结构性和功能性磁共振成像（MRI）特征为基础，通过系统评估编码策略、潜在多模态融合和生成模型选择。
在分析中，我们使用了来自大型神经影像数据集的结构性灰质体积（GMV）和静态功能网络连接性（sFNC）特征，考察了包括变分自编码器（VAE）、变换器、生成对抗网络（GAN）和扩散模型在内的生成框架。采用对功能连接性进行模态感知图编码的架构，在将其映射到较低维潜在空间时，优于向量化编码器或直接数据空间的方法。
我们提出的多模态图VAE（gMMVAE）在生成保真度、重构质量、效率和潜在空间可辨识性等多个指标上超越了其他生成变体，突显了其在稳健的多模态神经影像分析中的潜力。
博主点评： 本文通过创新的多模态图VAE架构，展示了生成式AI在神经影像数据分析中的巨大潜力，尤其是在处理复杂数据时的有效性与准确性，为未来的脑科学研究提供了新的思路与方法。