NeFut Logo NeFut
EN 管理员登录

[AI学术] Omni-Woodpecker:基于证据先验再平衡的全模态幻觉校正

发布于:2026-10-21 22:00 最后更新:2026-10-22 01:04
#AI #Machine Learning #LLM

近期的全模态大模型(OLLM)在音视频联合推理上取得显著进展,但跨模态幻觉仍是主要瓶颈。现有方法多在生成阶段进行干预,忽视了融合表征中证据与先验的交织。为此我们提出 Omni‑Woodpecker(OWP),一个无需额外训练的框架,将幻觉抑制从输出层转向冲突条件下的表征再平衡。

OWP 首先利用互补的模态视角检测跨模态冲突;随后通过正交分解将隐藏状态中的 grounding evidence 与竞争性先验分离;最后在解码前自适应地压制误导性先验、恢复被忽略的证据,从而实现表征的平衡。

在大规模实验中,使用 Qwen2.5‑Omni‑7B 作为骨干模型,OWP 在 CMM 与 AVHBench 上分别提升 12.9 与 8.6 分,并在四个通用 OLLM 推理基准上实现 0.67‑2.25 分的稳健增益。对 VideoLLaMA2‑AV 的迁移实验同样显示出 4.6 与 3.9 分的提升。代码已开源:https://github.com/ZiiJianLiu/Omni-Woodpecker

点评

原文链接: https://arxiv.org/abs/2610.27103

[h] 返回首页