现有的视觉偏好评估依赖昂贵的人类标注或偏好奖励模型,而在线市场的交易价格易得且体现真实购买行为,因而被视为低成本的监督信号。然而,交易价格同时受到来源、需求、竞争等非视觉因素的影响,导致整体准确率不足以区分模型错误、价格噪声和实验协议的混淆。为了解决这一可辨识性难题,本文提出 MarketImage 诊断框架,旨在判断交易价格何时能够反映视觉偏好、何时失效,以及多模态语言模型能否恢复人类支持的视觉偏好信号。MarketImage 包含三部分:
- MarketImageArt 提供 266 组六图比较,附带交易价格和不考虑价格的人类排名;
- MarketImageLens 采用保留平局的协议,将 3,990 对图像配对划分为价格‑人类一致、冲突和价格平局三类,并单独审计展示顺序效应;
- MarketValuator 包括六种引导方式,覆盖直接比较、独立打分、预算约束和多代理聚合,用于评估静态视觉评分器和三种多模态语言模型的信号恢复能力。
实验结果显示,仅有 24.2% 的图像对出现非平局的价格方向,其中 34.7% 与人类多数意见一致。在这部分数据中,HPSv2 达到 66.4% 的可恢复准确率,表现领先;Qwen 的预算和聚合变体落后于基线,GPT 的接口提升在统计上未显著。由此可见,交易价格仅在有限条件下编码可恢复的视觉偏好,应视为不确定的代理而非真实标签。
点评:交易价格作为视觉偏好的信号具有潜在价值,但受非视觉因素干扰显著,只有在特定子集上才能可靠提取视觉信息。未来工作需进一步剔除噪声因素或结合其他低成本信号,以提升多模态模型的偏好捕获能力。