现有的多模态情感分析方法大多假设可以访问完整的多模态输入。但在实际应用中，经常会遇到不完整或损坏的模态，这是一个关键挑战。尽管提出了一些方法来解决这个问题，但它们主要依赖于数据插补和启发式协调约束，无法有效地从不完整的多模态数据中提取和利用任务相关信息。为了解决这个挑战，我们提出了一个统一的框架，称为互信息分离与不确定性感知融合（MIDAS），它可以在不完整的条件下有效地重构多模态表示。MIDAS采用变分建模策略，用多变量高斯潜变量表示每个模态，并进一步将它们分解为共享和专有因子。为了获得可靠的表示，我们设计了一个最小最大目标，既能最小化共享和专有空间之间的互信息以实现稳定的分离，又能最大化模态之间共享空间之间的互信息以增强语义对齐。此外，我们引入了不确定性感知融合机制，其中后验方差被用作可靠性指标来适应地加权潜在特征在融合过程中，确保即使模态不完整也能实现鲁棒集成。在三个广泛使用的数据集上进行的广泛实验表明，MIDAS在广泛的不完整设置中取得了强劲且一致的性能增益，证明了其在不完整数据场景中的有效性和鲁棒性。 博主点评： 本文提出了一种新的多模态情感分析方法MIDAS，能够有效地处理不完整的多模态数据。通过采用变分建模和不确定性感知融合，MIDAS实现了稳定的分离和鲁棒的集成，取得了优异的实验结果。这个方法在实际应用中具有广泛的潜力和价值，能够进一步提高多模态情感分析的准确性和可靠性。