在视觉语言模型(VLMs)中,传统的不确定性量化主要针对答案令牌分布。本文首次对思考模式下的答案熵行为进行了三种模型的实证特征化。
我们在相同的POPE对抗样本上运行四个模型,发现三种定性不同的模式:Qwen3-VL-8B-Thinking模型完全崩溃(ans H AUROC = 0.492);GLM-4.1V-9B-Thinking模型没有崩溃(0.716);而InternVL3-8B模型表现出选择性思考(仅在50%的样本中生成链,ans H = 0.675完整 / 0.602仅思考)。
在所有三个思考模式模型中,思考链熵在生成链的子集上超越了答案熵(0.647, 0.759, 0.608 vs. 0.492, 0.716, 0.602),这表明链信号在存在链的情况下是更可靠的预测指标。此现象在Qwen和GLM模型中表现得尤为明显,而InternVL3仅有边际且统计上不可靠的优势(n_FP = 17)。
在一个300样本的VQAv2初步实验中,链熵(0.680)超越了答案熵(0.595),且在自由形式答案中差距最大(0.733 vs. 0.467)。
在更困难的推理任务(HallusionBench)中,两个Qwen模型显示出适度信号(约0.64),与在难题上未完全承诺一致。此外,我们还记录了结构性弃权影响了12-22%的查询,且对缺失对象查询存在不对称性;一个实用的弃权门将准确率从71.0%提升至93.8%,覆盖率为62.7%,且没有额外的推理成本。
博主点评: 本文通过对不同视觉语言模型在思考模式下的表现进行深入分析,揭示了推理链熵在预测中的重要性,尤其是在复杂问题上的应用潜力。这为未来的模型优化和不确定性评估提供了新的视角和方法论。