PEAR 是一种自适应优势重塑方法,旨在提升大规模视觉语言模型的感知与探索能力。有效的多模态推理需要模型既能可靠利用视觉信息,又能充分探索多样的推理路径。以往工作通过将视觉依赖度和 token 熵结合来重塑序列级优势,但直接按视觉依赖度缩放熵的贡献会导致高熵、低视觉依赖的 token 被低估,尽管它们对探索至关重要。PEAR 解决此问题:它保留视觉依赖度作为基准信号,仅在高熵位置加入基于熵的探索增益,且视觉依赖度越低,增益越大。随后将融合信号映射为正的 token 级权重,以重塑序列级优势。实验在 Qwen2.5‑VL‑3B/7B 上进行,PEAR 在多模态推理基准上取得所有对比方法的最高平均性能,并在文本推理及通用多模态基准上也获得领先结果。
点评