摘要
多模态情感与情绪识别通常通过早期融合或晚期融合来解决。早期融合在分类前将模态连接，但可能过于单一；而晚期融合则结合独立训练的单模预测器，可能丢失跨模态交互。本文重新审视了XAI指导的自适应融合（\xgaf），这是一种基于树的单模与跨模专家的混合方法，其样本级权重源自TreeSHAP归因幅度。
我们关注在特征维度不均等的情况下，SHAP归因减少的效果。在这种设置下，均值绝对值和中位数绝对值的减少可能会抑制高维跨模专家，而总绝对值减少则保留了总归因质量。在MELD 7类情感识别任务中，sum-abs \xgaf{}几乎与早期融合相匹配，使用三种面部序列聚合器时，Transformer变体的得分为0.5983，早期融合为0.6018，概率平均的晚期融合为0.4598。McNemar检验表明，sum-abs \xgaf{}与早期融合间没有显著差异（$p=1.000$），而\xgaf{}显著优于晚期融合（$p<0.001$）。
博主点评： 这项研究展示了利用SHAP归因进行跨模态融合的潜力，尤其是在特征维度不均等的情况下。通过优化归因策略，能够平衡不同模态的贡献，从而提升情感识别的准确性，推动多模态AI的发展。