本文研究了在事实核查任务中,模型对发布者职业身份的偏好如何随后训练而改变。使用六类模型的基线和后训练检查点,对随机化职业信息的已核查声明进行实验,重点关注“职业怀疑”现象——即当发布者从事低阶职业时,模型更倾向判定其陈述为假。实验发现:
-
只有使用开放的 T\"ulu-3 配方(OLMo-2 32B、T\"ulu-3 70B)时会出现此类怀疑,Meta、Alibaba、Mistral 的配方未出现;效应虽小(不足 1%),但统计显著,超过训练漂移,并在独立数据集上复现。
-
在 OLMo-2 32B 中,模型并未更频繁注意职业信息,而是改变了对同一职业的解释:低阶职业使基线模型倾向“真”,而后训练模型倾向“假”。
-
这种转变由残差流中的单一方向驱动,发生在监督微调阶段。对 400 条新声明的预设预测验证了该机制。七个已部署的商业模型均未表现出对低阶发布者的额外怀疑。
研究表明,不同后训练配方会在说话者偏见上产生微妙但可检测的差异,强调了对每种配方进行审计的必要性。
点评