NeFut Logo NeFut
EN 管理员登录

[AI学术] 文字胜于顺序:Gemma 4 行为评估

发布于:2026-09-29 22:00 最后更新:2026-09-30 01:41
#AI #Machine Learning #LLM

在本文中,我们考察了当语言模型同时收到两份相互冲突的文档时的选择机制。实验使用了 Google 预训练的 Gemma 4‑e4b,针对 13 条行为项目共计 784 次前向传播,全部在单轮短上下文中完成。实验设计完全平衡,能够在数学上分离来源框架和阅读顺序的独立影响,并消除模型固有词汇偏好。

结果显示,来源的语义框架对答案的影响远大于文档的呈现顺序。将文档标记为官方指南或最新更新会显著改变模型的最终输出。模型倾向于优先考虑先读到的文档,但这种首位效应的强度随表述的细微差别而变化,波动幅度至少达 5 倍。位置偏好来源于整体结构的重复,而非简短的触发短语。两份文档若采用完全相同的模板,首位效应会显著增强;引入整体措辞差异则可削弱这种偏好。

点评

原文链接: https://arxiv.org/abs/2609.30716

[h] 返回首页