NeFut Logo NeFut
EN 管理员登录

[AI学术] 不一致感知的多模态语音情感识别评估

发布于:2026-11-03 22:00 最后更新:2026-11-05 00:45
#AI #Machine Learning #LLM

语音交互的大语言模型同时处理说话内容和说话方式,但两者并不总是一致。本文探讨这种不一致是否会降低情感识别的准确性。我们将文本和音频映射到统一的价值‑激活‑支配(valence‑arousal‑dominance)空间,计算它们之间的欧氏距离,并用两分量高斯混合模型将距离转化为连续、无阈值的不一致得分。该得分在人工标注上得到验证。实验在三套数据集(eNTERFACE'05、MELD、CMU‑MOSEI)上对三种具备音频输入能力的模型进行评估,保持模型跨模态一致。结果显示,只要音频存在,不一致得分的提升都会显著增加错误概率,且该效应在所有语料上均显著,已控制真实情感标签和特征空间距离。使用相同特征训练的监督分类器表现相反,说明问题出在模型对原始证据的融合方式,而非信号本身。仅文本的影响不稳定:更换读取转录的模型会在某一语料上改变符号。去除情感词典后重新构建得分仍能复现核心结论,在六种更简易的无标签替代方案中,只有该得分能够在全部三套语料上预测错误。代码、数据表和提示词已公开。\n\n点评:该工作提供了量化多模态不一致的方法,并揭示了当前音频大模型在融合文本与声学信息时的系统性弱点,为后续模型设计提供了重要参考。

原文链接: https://arxiv.org/abs/2610.40883

[h] 返回首页