NeFut Logo NeFut
EN 管理员登录

[AI学术] 基于证据验证的多模态情感推理代理框架

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #LLM

LLM 驱动的多模态情感推理系统在标准基准上表现良好,但通过指令微调提升性能往往计算成本高昂。

使用冻结模型构建的代理流水线可以规避微调费用,却带来了新的挑战:当预测错误时,需要追溯到底是哪个代理或哪个阶段导致了错误。

我们提出的框架包括以下关键组件:

针对错误预测,证据验证阶段执行两类检查:

  1. 确定性检查确保引用的证据和参考文献有效;
  2. 蕴含检查判断最终结论是否被所引用的证据充分支持。 检测到的失败会按责任组件和错误类型分组,转换为针对性的提示补丁,并仅在留出验证集上通过后采纳,从而实现提示空间的适配而无需更新模型权重。

在 MER2025 数据集上,针对性提示适配在四个不同规模的 MLLM(VideoLLaMA3-2B、Phi-3.5-vision-instruct、Qwen2.5-VL-7B-Instruct、InternVL2.5-38B)上均优于冻结静态流水线,F1 提升 0.6–2.2 点,其中 Qwen2.5-VL-7B 的分数从 52.3 提升至 54.5,且匹配或超越了未区分的反思基线。

点评:该方法在保持模型不变的前提下显著提升了情感推理的准确性和可解释性。

原文链接: https://arxiv.org/abs/2610.31685

[h] 返回首页