NeFut Logo NeFut
EN 管理员登录

[AI学术] 小型多语言视觉模型的测试时扩展策略研究

发布于:2026-07-14 22:00 最后更新:2026-07-15 02:00
#AI #Machine Learning #Open Source

摘要

测试时扩展(TTS)能够可靠地提升大型语言模型的推理能力,但这种方法是否适用于小型开放视觉语言模型尚不明确。我们在多语言视觉多项选择基准EXAMS-V上进行研究,比较了自一致性、描述后推理与PRM引导的束搜索,以及两种后处理选择器在Qwen2.5-VL-7B-Instruct和Qwen3.5-4B上的表现。

研究发现

关键在于TTS运行的条件,而非搜索或验证机制。解析能力是最大因素:早期的提示格式使得许多推理链虽然正确但未能提交答案。标准答案提示和引导修复步骤在很大程度上解决了这一问题。

增加解码预算也有助于提升性能:将每链的令牌限制从1000提高到2000可恢复3.7个百分点,而增加推理链数量(从8到16)仅增加0.15个百分点。

一旦推理链有足够空间完成,复杂的方法贡献甚微:PRM引导的束搜索在成本超过八倍的情况下,表现比普通自一致性低0.39个百分点,且无论是无训练的生成评论员还是训练的多模态PRM在两种策略下都无法超越多数投票。

最大的提升来自于策略模型本身(+11.4个百分点)。我们最佳配置在留出的ImageCLEF 2026测试集上达到了84.1%,在视觉多项选择排行榜上排名第一。

博主点评: 该研究探索了测试时扩展对小型视觉语言模型的影响,强调了模型解析能力和解码预算的重要性,为未来的模型优化提供了有价值的参考。

原文链接: https://arxiv.org/abs/2607.09438

[h] 返回首页