NeFut Logo NeFut
EN 管理员登录

[AI学术] 四边形损失:将可加性作为密集神经网络的可测量行为

发布于:2026-07-24 22:00 最后更新:2026-07-26 07:44
#Machine Learning #optimization #Neural

摘要

可加模型通过禁止特征交互来实现可解释性,这一约束在架构上也被神经网络强制执行。我们引入了四边形损失,这是一种可微分的惩罚,旨在将可加性视为一种可测量的行为:它对训练点对的第二阶混合差异进行处理,通过交换一个坐标来实现,当且仅当该坐标没有交互时,该损失消失。该损失对分段线性网络仍然具有信息量,并且在期望上等于干预性 Shapley-GAM 的每个坐标交互量。

该损失将可加性变成一个可调节的参数——大多数学习到的交互几乎可以在不付出代价的情况下移除,并且在小型数据集上,适度的惩罚可以同时提高准确性和可加性。同时,它也成为一个在线可观察量:其每个特征的放弃曲线显示,在不同的种子和数据集上,预正则化的交互量几乎无法预测正则化模型所保留的内容,这削弱了事后交互排名的有效性。

在此框架下,我们比较了实现精确可加性的路径,包括结构掩码、行为惩罚(可选择性地固定为精确结构)、权重衰减、回归拟合、共享部分模型和袋装提升树:在行为约束优先于结构约束的情况下,权重空间约束的排名在数据环境之间反转,并且收敛的路径对形状函数本身达成一致。我们记录的三种无声失败模式共享一个共同的解剖:在悄然无息地违反其前提条件的设置中引入的保证。

博主点评: 四边形损失的提出为神经网络的可解释性提供了新的视角,通过量化可加性行为,研究人员能够更有效地理解和优化模型的特征交互。这种方法不仅提升了模型的性能,也为未来的研究提供了丰富的思路。

原文链接: https://arxiv.org/abs/2607.20201

[h] 返回首页