NeFut Logo NeFut
EN 管理员登录

[AI学术] 大型语言模型的是非偏见源于回答顺序与措辞,非道德判断的转变

发布于:2026-07-09 22:00 最后更新:2026-07-10 03:15
#AI #Machine Learning #Moral Judgment

在大型语言模型(LLMs)中,越来越多的判断被视为二元的裁决,相关文献显示,这些判断在措辞的逻辑无关变化下发生了转变——尤其是在道德困境中,表现出一种人类所不具备的增强是非偏见。单一的框架无法说明这种转变的本质:在是非问题中,"no" 一词同时作为逻辑裁决、词汇符号和最后打印的选项。

我们引入了一种心理测量工具,称为交叉对称化——在一系列问题形式中,每个逻辑无关的因素以平衡对的方式翻转。通过对逻辑等价形式的分级评分,我们恢复了一条连贯的内部道德尺度:前沿模型的立场 $\theta$ 几乎不受格式影响(跨格式不一致性为 0.12-0.21,基于 $\pm 1$ 的轴);小型开放权重模型则以特定模型的方式失败。

强制使用是非判断导致了一个可分解的伪影:对最后打印选项的顺序偏见——与经典的人类优先效应相反——加上对词汇 "no" 的拉力;这一伪影在 Claude 模型中显著(故事平均值 -0.32 至 -0.86),而在 GPT-5.5 和 Gemini 中约为 0,并在扩展推理下缩小。

词汇和裁决共享一个符号;用任意标签替换词语可将其分离,并且附加于裁决的逻辑偏见在每个前沿模型中证明约为 0,而模型特定的标签和顺序附加仍然存在:这些模型并不倾向于拒绝——拉力跟随打印的表面,而非所承载的裁决。

一个最小模型 $P = \sigma((\theta \pm m)/s)$ 概括了任何此类伪影,通过框架敏感度 m 和道德果断性 s 进行测量,这与采样温度可明显区分。该测量工具不变地适用于任何困境集和二元格式:衡量模型重视的内容需要跨越问题的框架,而不是仅仅询问一次。

博主点评: 这篇文章深入探讨了大型语言模型在道德判断中的偏见来源,指出回答的顺序和措辞对模型输出的显著影响。通过引入心理测量工具,作者有效地揭示了模型判断中潜在的伪影,为理解 LLM 的行为提供了重要的视角。

原文链接: https://arxiv.org/abs/2607.05552

[h] 返回首页