多模态大语言模型(MLLM)通过对多模态证据进行推理,显著提升了多模态情感识别(MER)的细粒度理解能力。然而,这类模型仍然在语义相邻、情感线索高度重叠的情绪之间出现系统性混淆。传统方法往往通过全局参数适配来纠正错误,代价高且缺乏灵活性。我们观察到情感混淆具有高度局部性,因而更适合采用可复用的成对专长进行处理。
基于此洞察,本文提出 Confusion-Aware Skill Evolution(CASE),这是首个面向 MER 的代理‑技能框架。CASE 维护一个稀疏的、可自我进化的 EmotionSkill 库,每个 Skill 对应一种情绪对,能够将情感专长从模型参数中外化,使得专长能够持续优化并在不同冻结的 MLLM 骨干之间直接迁移。推理时,CASE 动态检索对应的 EmotionSkill,以强化边界感知推理,同时保持 MLLM 主干冻结不变。
在 CA-MER、DFEW 与 EMER 三个基准上的大量实验表明,CASE 在通用型和情感专用型 MLLM 上均表现出显著的有效性和可迁移性。以 Qwen3‑VL‑8B 为例,CASE 将其在 CA-MER 基准上的平均准确率从 46.80% 提升至 59.13%,并在其他模型上实现了持续增益。
点评:CASE 通过将情感对专长模块化、可进化,实现了高效、灵活的情感混淆纠正,为冻结模型的情感识别提供了新的思路。