在多源图像融合场景中,异构输入通常由不同的生成机制驱动,可以视为多个因果系统的组合。然而,在融合过程中,常常会出现跨系统差异(CSD)和跨系统纠缠(CSE)的问题,这会导致在分布外(OOD)预测时性能显著下降。
为了解决CSD和CSE问题,我们提出了加性因果构建(ACC)框架,该框架在两个层面上描述信息融合:首先,通过干预一致性建立多个系统间共享的因果“锚”,以实现因果图的可迁移性(CGT);其次,将融合过程形式化为因果构建,并通过不确定性量化来建模构建路径的可靠性,从而确保因果图的可重构性(CGR)。
基于此,我们重新审视传统的因果表示学习(CRL),并提出ACC-CRL,作为该框架的可学习实例。该方法通过内容-机制解耦探索跨系统的联合因果内容表示,并在共享锚下执行响应对齐,以减轻CSD。此外,它结合结构不确定性以自适应调节融合过程,从而抑制不稳定的CSE。
我们在合成数据(ColorMNIST)和真实世界的多中心医学影像任务(微血管侵袭(MVI)预测)上进行了系统实验。结果表明,所提方法显著改善了OOD泛化能力,同时保持了在分布内(ID)的性能,验证了基于机制对齐和不确定性建模的ACC-CRL策略在开放环境中的有效性和鲁棒性。
博主点评: 该研究通过引入加性因果构建框架,为多源图像融合提供了一种新颖的解决方案,有效地应对了跨系统之间的差异与纠缠问题。其在不确定性建模方面的创新,尤其在医疗影像等复杂场景中的应用,具有重要的实际意义与潜力。