在视觉语言模型 (VLMs) 中，幻觉通常被视为语义错误，但它们往往源于部分或模糊的视觉证据。以往的研究主要集中在生成时检测或抑制幻觉，而对后续推理阶段的探索相对较少。本文研究了后幻觉推理 (PHR) 阶段，在此阶段中，幻觉语义进入模型的推理上下文并影响下游预测。为系统性地研究 PHR，我们引入了 HIVE（幻觉推理与验证引擎），这是一种评估基础设施，能够在真实与幻觉字幕之间进行对照比较。
在九个任务和九个模型的实验中，我们观察到结构化的模态依赖模式：幻觉字幕在视觉语言任务中通常提高了准确性，而仅文本任务的效果则有限或不稳定。进一步分析表明，幻觉线索拓宽了语义覆盖面并重塑了推理动态，同时保持了稳定的推理。这些发现强调了幻觉语义在进入模型的推理上下文后，可能会影响下游推理。理解这一后幻觉阶段对于提升多模态推理系统的可靠性与可解释性至关重要。代码已在 GitHub 上公开。
博主点评： 本文深入探讨了视觉语言模型中的后幻觉推理，揭示了幻觉语义如何影响下游任务的推理过程。值得关注的是，HIVE 提供了一个有效的评估工具，有助于推动相关研究的发展。对幻觉的理解与管理，将是提升多模态系统性能的关键。