摘要
在视觉语言模型（VLMs）的测试时间适应中，可靠的置信度估计仍然是一个关键限制。虽然提示调优提高了零-shot 准确性，但通常由于熵驱动的过度自信而降低了校准效果。以往的方法通过使用大型语言模型（LLM）派生的类属性和对比正则化来缓解这一问题，但它们独立处理属性，忽视了属性之间的关系结构。
我们提出了 ARGTCA，该方法将（类，属性）对表示为符号属性图中的节点，并使用对比目标训练图注意力网络（GAT），以生成能够捕捉属性间依赖关系的结构化嵌入。我们引入了两种属性选择策略：ARGTCA-DIV 用于类内多样性，ARGTCA-DISC 用于类间区分。
在九个基准测试中的实验表明，ARGTCA-DIV 将平均期望校准误差（ECE）减少了约 37%，而 ARGTCA-DISC 则始终表现为第二佳变体，平均 ECE 减少约 17%。这些结果表明，建模符号属性之间的交互提供了一种可靠的测试时间适应方法。
博主点评： 该研究通过引入图结构来增强视觉语言模型的属性推理能力，显示了图神经网络在处理复杂属性关系中的潜力。尤其是通过对比学习加强了模型的校准能力，值得在未来的研究中进一步探讨其应用。