在自动识别语音中的情感（正面或负面）方面，分析声调和理解所表达的单词是一项具有挑战性的任务。近期的解决方案依赖于音频基础模型，但尚不清楚这些模型是否能够全面考虑所有因素。为此，我们提出了一种跨模态解决方案，通过交叉模态变换器集成音频和文本信息，文本转录通过自动语音识别（ASR）工具自动生成。
此外，我们通过机器翻译工具将转录文本自动翻译成多种语言，创建了多种文本模态。音频和多语言文本特征通过级联架构结合，该架构由交叉模态变换器块组成，逐一集成各模态。我们进一步将知识从多模态模型（称为教师）蒸馏到单模态（仅音频）模型（称为学生）。
我们在一个大规模数据集上进行了实验，结果表明，自动生成的文本信息在多模态情感极性分类中能够显著提升性能。我们的消融研究确认了自动转录和自动翻译的有效性。此外，我们展示了音频单模态模型通过蒸馏可以增强，从而在推理过程中无需任何计算开销即可提升性能。为了重现报告的结果，我们公开发布了代码，地址为 GitHub。
博主点评： 本文提出的跨模态集成方法为音频情感分析提供了新思路，利用自动翻译和蒸馏技术显著提升了分类性能，具有很高的应用潜力，尤其在多语言环境下。代码的开源也为后续研究提供了便利。