摘要
基础模型（FMs）作为医学数据的强大表示提取器，逐渐受到关注，但其在分布变化下的泛化能力仍未得到充分探讨。本研究系统性地评估了基于FM的表示在两组真实商业数据集IH-BC和IH-NSCLC上的计算病理任务表现，这些数据源自授权的内部（IH）肿瘤数据集。
分析集中于来自IH多模态数据的两种模态：全幻灯片图像和转录组特征。我们首先基准测试了五个FMs在八个下游分类任务中的单模态探测性能，发现图像和组学表示携带互补的预测信号。接着，我们通过比较基于配对表示的三种图像-组学融合策略，研究了多模态融合是否能在单模态基线之上带来额外收益。
此外，通过保形预测评估所选单模态和多模态管道的可信度。结果显示，FM表示在分布外数据上实现了竞争力的性能，且当单一模态信号不占主导时，多模态融合尤为有效。保形预测表明，在大多数点预测失败的情况下，真实诊断仍可在预测集中恢复，进一步强化了基于不确定性的推理在临床支持中的价值。
博主点评： 本研究对基础模型在多模态癌症分析中的应用进行了全面评估，展示了不同模态之间的互补性及融合策略的有效性，强调了在临床环境中不确定性管理的重要性。该研究为未来的医学AI应用提供了重要的参考和启示。