摘要
多模态生存分析利用全切片图像（WSIs）和基因组资料，对于癌症预后至关重要。近期，状态空间模型如Mamba已成为序列建模的强大工具。然而，将这一成功转化为复杂的多模态任务面临两个关键限制。
首先，传统的融合策略假设静态的多模态交互强度，忽略了不同患者和局部区域中每种模态的诊断重要性波动。其次，标准的Mamba架构沿预定义的物理路径处理令牌，这种刚性扫描打断了空间分布医疗特征的语义连续性，并加剧了长程衰减。
为了解决这些挑战，我们引入了AdaSurvMamba，一个新颖的自适应框架用于多模态生存分析。该框架特色在于其双尺度重要性感知重建（DSIR）模块，能够动态调节跨模态交互强度。它在序列和令牌级别评估诊断重要性，以重建输入表示。
此外，我们还提出了语义聚合扫描（SAS）模块，以克服上下文碎片化问题。SAS模块通过共享原型池动态重组离散令牌为语义连续序列。它明确调节状态转移步长，利用全局模态上下文和语义先验自适应控制信息吸收率。
在五个TCGA队列上的实验表明，AdaSurvMamba在现有方法上实现了一致的性能提升。代码可在 GitHub 获取。
博主点评： AdaSurvMamba通过引入动态交互强度和语义聚合扫描，显著提升了多模态生存分析的效果。其创新性在于能够适应不同患者的特征变化，推动了医学图像分析的前沿研究，值得关注与深入探讨。