我们在不使用任何人工偏好标签的情况下，构建了视觉‑语言奖励模型。核心做法是：在冻结的 Qwen3‑VL 主干的中间层上加一个线性头，训练目标是让原始网页标题的得分高于同一标题的扰动版本；仅使用标注数据来挑选最合适的层。实验发现，层的选择至关重要，相比最后一层提升了 5.8 分。该配置在 32B 参数规模下，无需重新调优即可在三个基准上匹配或超越 GPT‑4o，且在 VL‑RewardBench 上领先 6.6 分，仅使用几千个参数，计算成本约为微调的千分之一。
在相同的配对预算下，使用扰动数据训练的冻结头比使用精心挑选的 RLAIF‑V 对提升 3‑5 分。由于主干被冻结，目标函数是凸的，扰动采样器本身就定义了奖励，而基准只能评估排名：两组在不同扰动子集上训练的头在基准上表现相同，却在幻觉评估上相差 6.4 分。
进一步地，将头部在策略自身的验证器标记的候选上重新训练，可将标题幻觉降低 5.1 CHAIR 分，图像生成通过率提升 5.4 分，尽管在所有奖励基准上的得分下降。
综上，使用中间层探针、同图像的自由扰动以及验证器驱动的自举训练，提供了一套无需标注员、成本仅为微调极小比例、且由训练比较而非基准排名决定的多模态奖励建模方案。
点评