本文提出 Timbre,一种针对无标签多模态测试时强化学习的可靠性感知调和共识框架。该框架首先构建 $2\times2$ 网格,分别放置原始图像、扰动图像以及直接求解和重新表述两种模式的输出。随后通过加权调和聚合选取伪标签,并利用批次平均、时间平滑后的伪标签置信度变化作为可靠性信号,对模态层权重进行自适应调整。
共识问题被形式化为加权 $\chi^2$ 重心求解,其唯一最小解即归一化的加权调和聚合,无需假设答案不变性。作者进一步给出支持‑分散分解,阐明调和聚合在何种条件下保持或纠正算术排序;敏感性分析则说明模态重新加权如何改变成对排序边际,为启发式更新提供解释依据。
在六个基准和三种 Qwen3‑VL 模型规模的实验中,Timbre 在 18 组基准‑模型设置中有 16 组在适配实例上超越 TTRV,持出实例上有 17 组取得领先,且使用相同的估计与优化 rollout 次数。实验结果表明该方法能够在无需额外更新的情况下提升目标任务适配能力并实现对未见实例的有效迁移。
点评:Timbre 通过可靠性驱动的调和聚合克服了多数投票的误导风险,提供了理论上可解释且在实证上显著提升的多模态强化学习方案。