开放词汇多模态情感识别（OV‑MER）旨在从多模态情感线索生成自然语言情感标签。然而在真实场景中，受限于采集设备和用户隐私，完整且同步的模态数据往往难以获得。现有 OV‑MER 方法大多假设全模态输入，在模态缺失时无法实现有效的特征融合。与此同时，针对不完整模态的融合技术主要服务于固定标签的识别任务，无法满足在 OV‑MER 场景下以任意情感语义为指导的情感线索融合需求。为了解决上述问题，本文提出了一种针对不完整开放词汇情感识别的情感原型条件融合（APCF）框架。APCF 作为一种无候选生成式框架，将模态贡献学习扩展到任意情感语义的引导下。具体而言，首先构建情感原型库，用以显式建模不同情感对应的多模态贡献特征，为不同情感语义视角下的模态融合提供动态约束。随后在可用模态特征的基础上执行条件检索与特征聚合，得到经过细化的融合情感表征。最终，将该表征输入大型语言模型（LLM）解码器，生成开放词汇的情感标签。实验在 OV‑MERD+ 与 MER‑FG 两个数据集上进行，结果表明 APCF 在各项指标上显著超越现有最先进基线。
点评