NeFut Logo NeFut
EN 管理员登录

[AI学术] TCLA:无需训练的医学视觉语言模型分类适应新方法

发布于:2026-07-14 22:00 最后更新:2026-07-15 01:59
#AI #Medical #VLM

在医学视觉语言模型(VLMs)中,尽管其在零样本任务中的表现强劲,但在分布外(OOD)数据上的有效性仍然因领域转移和来自大规模预训练的类别偏差而下降。现有的少样本适应方法通常引入额外的可训练组件,这在极低数据条件下(如1-shot)可能不稳定,并且在不同医学数据上缺乏鲁棒性。

我们提出了TCLA,这是一种完全无需训练的少样本适应方法,适用于医学VLMs,具有快速和模型无关的特点。TCLA通过基于一小组支持样本纠正推理logits,从而提升预训练VLMs的性能,改善类别间的去混淆并减少领域转移。

我们在包括X光、超声、MRI、CT和组织病理学在内的九个数据集上进行了广泛实验,结果表明TCLA始终改善医学VLMs的OOD性能,并且在大多数情况下超越了现有的基于训练的适应方法。

博主点评: TCLA方法的提出为医学领域的视觉语言模型提供了一种高效的适应策略,尤其在数据稀缺的情况下,展现了其优越性。该方法不仅提升了模型的准确性,也为未来的医学AI研究提供了新的思路。其模型无关的特性使其在不同场景下具有广泛的应用潜力。

原文链接: https://arxiv.org/abs/2607.09562

[h] 返回首页