NeFut Logo NeFut
EN 管理员登录

[AI学术] 超越代理指标:MLLM 作为可解释 AI 评估的人类替代

发布于:2026-11-12 22:00 最后更新:2026-11-13 06:56
#AI #Machine Learning #LLM

可解释人工智能(XAI)已经成为重要研究方向,但如何客观评估解释方法仍是难点。传统做法要么依赖代理指标,难以反映解释的实际价值;要么进行人工评估,成本高、难以规模化且复现性差。本文探讨多模态大语言模型(MLLM)能否充当人类评估者,实现 XAI 评估的自动化。我们首先提出一种“目的导向”评估框架,设计的度量既适用于 MLLM,也适用于真实用户。随后给出模型可信度的概念性分析,阐明在何种情境下可以信任 MLLM 替代人工评估。最后在模型改进、错误诊断、决策支持、教学辅助和公平性五个目的导向场景下,对十四种主流 MLLM 进行大规模实验。实验表明所有模型的评估趋势均为正向,其中 OpenAI 系列和 Qwen 系列的对齐度显著高于其他模型,推荐在实际工作中优先使用。我们强调该方法并非取代用户测试,而是为 XAI 研究者提供一种补充手段,帮助社区摆脱对代理指标的过度依赖。

点评:该工作为 XAI 评估提供了可操作的自动化思路,尤其在资源受限的实验环境中具有实用价值。但仍需注意模型偏见和任务特异性对评估结果的潜在影响,后续研究应进一步验证跨领域的稳健性。

原文链接: https://arxiv.org/abs/2611.13926

[h] 返回首页