视觉干预是一种无需再训练即可降低多模态大语言模型(LLM)幻觉的手段。我们发现,同一视觉残差编辑在不同解码层的影响并不相同——在较浅层的干预效果显著,而在更深层则迅速衰减。为量化这一现象,我们在三个模型系列的六个检查点上,保持编辑的 RMS 强度不变,逐层施加编辑,并记录干预效应的变化。结果显示,干预效应在某一层之后出现持续下降,我们将该层定义为 证据锚定边界(EAB)。在校准查询上固定 EAB 后,对不相交的评估查询进行测试,发现 EAB 之前的干预效应是其之后的 $13.78\times$–$26.10\times$。对比中间层的读取结果表明,编辑在答案偏好尚未稳定前就可能失去杠杆作用。
进一步,我们在存在性、属性和关系三类问题上比较了反事实减法的效果。减法可以纠正误导性的偏好、保持决策不变,或消除支持正确答案的偏好。基于这些观察,我们提出了校准选择路由:除非校准结果表明干预对当前问题类型有益,否则保留原始预测。该策略在三个检查点上将属性准确率提升 $1.56$–$1.81$ 个百分点,而通用减法则表现中性或有害。
点评:本文通过系统实验定位了视觉干预的有效深度,并提出了基于校准的选择性路由方案,展示了在保持模型原有能力的前提下,精准利用视觉信息提升多模态 LLM 的可靠性。