NeFut Logo NeFut
EN 管理员登录

[AI学术] ReportMedSAM:通过放射学报告引导分割的新框架

发布于:2026-07-18 22:00 最后更新:2026-07-22 01:24
#AI #Machine Learning #Open Source

在放射学领域,自由形式的放射学报告包含丰富的临床描述,但将其转换为可靠的分割结果仍然面临挑战,主要原因在于自然语言的固有变异性。现有的处理流程通常依赖于预定义的器官短语或脆弱的基于规则的推理提取,这限制了其对新解剖结构的扩展性,并使其对语言变异敏感。

为了解决这一问题,我们提出了 ReportMedSAM,这是一个报告驱动的框架,用可学习的概念库替代了离散的提取方式。通过利用冻结的医学视觉-语言编码器(BiomedCLIP),我们通过对比学习将器官级概念嵌入与大规模临床语料库对齐,建立互相正交的语义锚点。此方法显著减轻了器官级语义崩溃,并确保对多样的临床同义词(如“肾脏”与“肾”)具有高鲁棒性。

在推理过程中,临床报告被嵌入并与该概念库匹配,以动态激活特定任务的专家混合(Mixture-of-Experts, MoE)模块。这种解耦设计允许在不重新训练现有组件的情况下添加新概念和专家,从而提供了一种参数隔离的扩展机制,同时保持之前学习的专家不变。

在 AbdomenAtlas 3.0 数据集上的评估表明,ReportMedSAM 能够有效解读自由形式的报告,达到竞争性的分割准确率,并展示了对新临床任务的无缝且不干扰的扩展能力。

博主点评: ReportMedSAM 提供了一种创新的解决方案,利用可学习的概念库和对比学习方法,克服了传统分割方法的局限性。其灵活的结构设计不仅增强了模型的适应性,还有助于未来的临床应用扩展,标志着放射学报告分析领域的一个重要进步。

原文链接: https://arxiv.org/abs/2607.14116

[h] 返回首页