可解释人工智能（XAI）工具常被宣传为通过让模型内部机制更易于人类理解来提升信任度的手段。然而过去十年的研究表明，这一目标总体上未能实现，反而导致用户对错误预测产生过度依赖，进而出现对算法的厌恶。实际上，XAI 更像是调试工具，能够提供关于模型学习到的特征的零星洞见。其根本局限在于 XAI 方法往往对模型内部运作进行过度简化，导致解释与模型本身出现不匹配，这种现象被称为不忠实或不可信。忠实度可以被视为解释与模型之间近似程度的量化指标。若能以严格的方式计算忠实度，就可以为解释的可信度提供可度量的依据。但现有的忠实度度量存在显著缺陷，使得这种量化要么不可行，要么计算成本过高。本文指出了当前忠实度度量的五大不足：缺乏对模型非线性特征的捕捉、对特征交互的忽视、对输入扰动的敏感性不足、评估过程缺乏可重复性以及对不同模型架构的通用性差。针对这些问题，本文提出四条可能的研究路径：引入基于局部线性近似的可解释性框架、发展能够捕获高阶特征交互的度量方法、构建对抗性扰动下稳健的忠实度评估以及制定统一的基准测试以提升可重复性。通过这些方向的探索，有望提升 XAI 解释的结构一致性，从而真正增强对模型预测的信任。
点评