多模态问答(MMQA)需要融合不同模态的数据,挑选相关信息并忽略干扰。现有基于多模态大语言模型(MLLM)的方法通过将任务拆分为中间步骤提升性能,但缺乏对每个模态贡献的量化。EDMA 通过逻辑熵将 MMQA 表述为一次次熵降低的迭代过程,并用熵的变化衡量各模态在区分正确与错误候选答案中的作用,从而得到可度量的回答轨迹。EDMA 的核心包括:① 模态条件划分,用于估计单模态熵的降低;② 熵驱动的多模态融合,捕获模态间的互补信息;③ 基于熵的轨迹选择,寻找使逻辑熵最小的推理路径。实验在多个标准 MMQA 基准上进行,EDMA 相比 Planning Prompting 提升 12.8 F1 与 4.6 LLM‑J,较 Chain‑of‑Thought 提升 18.6 F1 与 8.3 LLM‑J,并超过自一致性基线,接近多代理系统。进一步分析表明,熵值越高出现误判的概率越大,逻辑熵可作为单调的路径选择器,验证了熵水平是性能的可靠代理。
点评:EDMA 通过明确的熵度量提升了多模态推理的可解释性和效果,展示了信息论在大模型多模态融合中的潜力。