近期的全模态大模型(OLLM)在音视频联合推理上取得显著进展,但跨模态幻觉仍是主要瓶颈。现有方法多在生成阶段进行干预,忽视了融合表征中证据与先验的交织。为此我们提出 Omni‑Woodpecker(OWP),一个无需额外训练的框架,将幻觉抑制从输出层转向冲突条件下的表征再平衡。
OWP 首先利用互补的模态视角检测跨模态冲突;随后通过正交分解将隐藏状态中的 grounding evidence 与竞争性先验分离;最后在解码前自适应地压制误导性先验、恢复被忽略的证据,从而实现表征的平衡。
在大规模实验中,使用 Qwen2.5‑Omni‑7B 作为骨干模型,OWP 在 CMM 与 AVHBench 上分别提升 12.9 与 8.6 分,并在四个通用 OLLM 推理基准上实现 0.67‑2.25 分的稳健增益。对 VideoLLaMA2‑AV 的迁移实验同样显示出 4.6 与 3.9 分的提升。代码已开源:https://github.com/ZiiJianLiu/Omni-Woodpecker
点评