摘要
文本引导的医学图像分割利用临床语义来改善病变描绘，但许多现有模型将跨模态融合、监督和解码器设计紧密绑定于特定任务的架构中。这种紧耦合使得在异构视觉和文本基础模型间重用语言指导模块变得困难，且在编码器对改变时常常需要重新设计网络。
本论文提出了 BTHA（Backbone-Transferable Hierarchical Adapter），一个用于文本引导医学图像分割的基础模型可转移的层次适配器框架。BTHA 以稳定的特征级接口为基础：在给定多尺度视觉特征和文本表示的情况下，通过形状保持适配器注入语义指导，同时保持解码器侧的张量契约。
为了使这个接口有效，我们引入了层次粗到细的监督策略，该策略将学习分解为全局图像-文本对齐、多尺度辅助定位和边界感知的最终掩码细化。此外，我们进一步设计了一个尺度自适应门控语义指导（SAGSG）适配器，其中特定分辨率的门控自适应地控制文本注入，通道重校准则抑制冗余的跨模态响应。
在不同视觉和文本基础模型上的评估表明，相同的适配器和监督设计在卷积和基于变换器的视觉编码器以及不同语言编码器中均保持有效。四个公共数据集上的实验进一步表明，BTHA 在适度的计算开销下提升了强大的文本引导基线性能。
博主点评： 本文提出的 BTHA 框架通过解耦语言指导与基础模型，显著提高了文本引导医学分割的灵活性和有效性，展示了在多种模型结构下的广泛适用性。这种方法不仅提升了性能，还减少了重新设计的需求，为未来的医学图像分割研究提供了新的方向。