在质子治疗规划中，呼吸门控的无对比CT (NCCT) 通常用于病灶分割，但由于病灶与背景之间的对比度低，准确描绘仍然具有挑战性。尽管基于学习的方法表现出色，但它们在无对比图像分割上往往面临困难。受到临床实践的启发，即通过对比增强MRI来参考无对比CT以描绘病灶，我们提出了ViPSAM，一个利用互补跨模态信息的视觉提示框架。
ViPSAM建立在Segment Anything Model (SAM) 的基础上，引入了视觉提示编码器，从对比增强图像中提取指导特征，并通过视觉引导的交叉注意模块整合无对比与对比增强特征，从而增强低对比度区域的病灶相关表示。
此外，掩膜解码器以参数高效的方式进一步适配，以有效利用视觉提示。我们在用于质子治疗的NCCT上评估了该方法在肝脏病灶分割任务中的表现。实验结果表明，ViPSAM超越了代表性的U-Net和基于SAM的方法，表明跨模态视觉提示能够在无对比图像中实现更稳健和准确的分割。
博主点评： ViPSAM的设计充分考虑了临床实践中的需求，通过跨模态信息的融合，显著提升了无对比CT的分割性能。该方法展示了视觉提示在医学图像处理中的潜力，为未来的研究开辟了新的方向。其在参数效率上的优化也为实际应用提供了良好的前景。