跨域适应(transductive adaptation)在测试时通过对未标记批次进行预测细化,能够提升视觉‑语言模型(VLM)的表现。然而,现有方法面临一个核心权衡:激进的做法利用批次结构信息,但在批次稀疏、先验分布偏移或标签空间覆盖不足时容易漂移;保守的做法保持 CLIP 文本语义不变,却在批次提供强纠正证据时适应不足。我们提出 JPTA(Joint Prior and Transport Adaptation),一个感知先验的框架,将跨域 VLM 适应视为 批量条件语义参考估计。JPTA 不再把 CLIP 文本原型当作固定先验或随意可替换的对象,而是把它们当作在可靠证据下向图像侧批次结构迁移的语义参考。具体而言,JPTA 先估计批次先验分布,再计算软图像原型,二者共同构成 传输后的语义参考,其影响力由 批次可靠性 系数进行调节。实验在标准基准、低有效类数场景、全类评估以及在线流式设置上均显示,JPTA 相比 TransCLIP 与 StatA 有一致提升,尤其在稀疏批次和先验偏移批次上增益最大。通过 anchor‑drift、active‑support 与 absent‑class‑mass 三项诊断,JPTA 能纠正有效类不匹配而不产生无约束的跨域漂移,表明稳健的跨域 VLM 适应应当基于可靠批次证据重新校准语义参考,而非在无限制跨域与固定原型之间二选一。代码已开源:https://github.com/MR-Sherif/JPTA.git。
点评:JPTA 通过批量感知的先验校准和软原型传输,实现了在保持语义一致性的同时充分利用未标记数据的结构信息,为跨域视觉‑语言模型提供了更可靠的适应路径。