在社交交互中，矛盾与犹豫是通过语言内容、面部行为、视觉背景以及声学线索等多种因素表达的微妙行为状态。因此，准确识别这些状态不仅需要提取有信息量的单模态表示，还需要建模时间上对齐的行为证据如何在不同模态间交互。本文提出了一种同步视觉-面部交叉精炼框架（SVF-CR），用于矛盾与犹豫的识别，采用成对的多模态证据融合。
该方法首先利用相同的时间划分提取整个视频段令牌和裁剪的面部段令牌。随后，通过模态内部自注意力和双向视觉-面部交叉注意力对同步的视觉和面部令牌进行精炼，从而允许整个视频上下文与局部面部行为相互精炼，形成证据构建。
接着，我们利用一致性和差异性建模构建段级视觉-面部证据，并通过时间自注意力和注意力池化来增强该证据。文本和声学特征通过上下文自注意力轻微精炼，并在最终决策阶段与增强的视觉-面部证据进行成对证据融合。实验结果表明，在BAH（行为矛盾/犹豫）公共评估分集上，所提出的同步视觉-面部交叉精炼方法显著提升了公共宏F1分数，达到了0.7156，超越了全局视觉-面部令牌融合和同步证据基线。
代码可在以下链接获取：GitHub - SVF-CR.
博主点评： 本研究通过创新的SVF-CR框架有效融合多模态证据，为矛盾和犹豫的识别提供了新的思路。这一方法不仅提升了识别准确率，还为未来的多模态情感分析研究奠定了基础，具有重要的应用前景。