NeFut Logo NeFut
EN 管理员登录

[AI学术] 多模态基准真的有用吗?基于结构-响应共校准的项目级诊断

发布于:2026-10-15 22:00 最后更新:2026-10-18 08:05
#algorithm #Machine Learning

多模态基准是评估模型能否跨模态推理的核心。然而,已有研究发现部分基准包含可以仅凭单一模态或答案选项规律直接作答的“捷径”项目,导致它们无法真实衡量跨模态推理能力。传统的基准评估方法要么只关注题目内部结构,要么仅依据模型的响应行为,两者都不足以完成全面诊断。

为了解决这一问题,本文提出 SRCoD(Structure‑Response Co‑Calibration Diagnosis),一种面向项目级的模态依赖诊断框架。SRCoD 首先从基准文本和目标答案中估计样本级的多模态信息结构,并将该结构作为软约束锚,指导模态条件化的项目响应模型学习。模型输出的校准诊断画像能够量化每一道题目对不同模态证据的依赖程度,从而实现比整体准确率更细粒度的基准分析。与此同时,SRCoD 还能提供可解释的归因信息。

实验在两套互补的验证协议下进行:一是基准精炼导向的验证,二是人工标注的项目级验证。结果表明,SRCoD 在诊断性能上显著超越现有最先进方法。

点评:SRCoD 通过结构与响应的双向校准,实现了对多模态基准的细粒度、可解释诊断,为基准设计与模型评估提供了有价值的工具。

原文链接: https://arxiv.org/abs/2610.14542

[h] 返回首页