LLM 驱动的多模态情感推理系统在标准基准上表现良好,但通过指令微调提升性能往往计算成本高昂。
使用冻结模型构建的代理流水线可以规避微调费用,却带来了新的挑战:当预测错误时,需要追溯到底是哪个代理或哪个阶段导致了错误。
我们提出的框架包括以下关键组件:
- 感知代理针对视觉、声学和词汇输入分别进行分析,生成带有证据引用的观察并写入共享板;
- 整合代理将这些观察与检索到的多模态示例相结合,输出情感描述、标签集合以及支持性引用;
- MLLM 评审代理可以在输出最终确定前请求一次修订。
针对错误预测,证据验证阶段执行两类检查:
- 确定性检查确保引用的证据和参考文献有效;
- 蕴含检查判断最终结论是否被所引用的证据充分支持。 检测到的失败会按责任组件和错误类型分组,转换为针对性的提示补丁,并仅在留出验证集上通过后采纳,从而实现提示空间的适配而无需更新模型权重。
在 MER2025 数据集上,针对性提示适配在四个不同规模的 MLLM(VideoLLaMA3-2B、Phi-3.5-vision-instruct、Qwen2.5-VL-7B-Instruct、InternVL2.5-38B)上均优于冻结静态流水线,F1 提升 0.6–2.2 点,其中 Qwen2.5-VL-7B 的分数从 52.3 提升至 54.5,且匹配或超越了未区分的反思基线。
点评:该方法在保持模型不变的前提下显著提升了情感推理的准确性和可解释性。