NeFut Logo NeFut
EN 管理员登录

[AI学术] 基于代理的评审仍受确认偏差影响

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #LLM

在开放式任务的评估中,越来越多地采用 Agent-as-a-Judge 模式:评审者获得工具和完整的代理轨迹,以便在环境中验证结果。理论上,评审者通过自行收集证据实现“落地”。实验表明,这种落地并不能防止确认偏差。仅仅一条错误的预筛选提示——标记为权威来源且与正确判决无直接证据关联——就能使四种评审者在五个数据集上最高出现 40% 的正确判决被推翻,尽管评审者随后仍会收集决定性证据。该提示的影响取决于其特定属性,我们将其视为确认偏差的受控诊断,而非对抗性攻击。我们进一步阐释了确认偏差在轨迹中的行为变化,并将错误归结为三类失效模式:过度信任(先验证并得出正确结论,随后因提示而退让)、幻觉(为翻转制造虚假支持)以及调查不足(在首次出现支持信号时即停止)。在两位 Claude 评审者中,过度信任占有害翻转的 67%‑75%,而规模较小的评审者则在三种模式上均有分布。轻量级的缓解措施能够削弱但无法根除该偏差。\n\n点评:本研究提醒我们,即便评审者能够自行获取证据,外部的权威暗示仍可能显著扭曲判断。未来工作需在模型信任机制和证据评估策略上做更细致的设计,以降低确认偏差的系统性风险。

原文链接: https://arxiv.org/abs/2611.05662

[h] 返回首页