摘要
多模态情感分析依赖于语言、视觉和声学线索，但由于遮挡、背景噪音、运动模糊或不完美的转录，语句级别的模态质量可能会有所不同，导致传统的融合方法过于依赖不可靠的模态。我们提出了MRUF，一种可靠性感知的融合方法，结合了多粒度路由与不确定性感知校准。MRUF总结了与情感相关的表示，执行子空间和模态级别的路由，并通过逐一排除错误增加来监督模态路由，从而估计语句级别的模态重要性。它进一步预测模态的的不确定性，并通过逆方差加权来优化模态门，同时模态不变的对比对齐稳定了共享表示空间。
在CMU-MOSI和CMU-MOSEI数据集的对齐和未对齐设置下的实验表明，MRUF在强基线之上展现了一致的改进，机制分析验证了具有较高预测不确定性的模态接收较低的融合权重。
博主点评： MRUF方法在多模态情感分析中引入了对模态不确定性的关注，极大地增强了模型的鲁棒性。通过结合多粒度路由与不确定性感知校准，MRUF能够有效地评估和优化模态的融合权重，为后续的研究提供了重要的理论基础和实践参考。