摘要
大型语言模型（LLMs）在回答关于政治信息的问题中越来越被广泛使用，尤其是在选举相关的信息环境中，事实错误和意识形态扭曲的风险极高。我们提出了一种可重复的测量框架，将幻觉（在文档基础问答中不支持的陈述）视为意识形态漂移的诊断信号。使用来自 QBias 的 21,727 篇专家标记的美国政治新闻文章，这些文章涵盖左、中、右不同的来源，我们进行了以下研究：
- 生成特定于文章的问题；
- 从三个开放权重的 LLM 和一个专有模型中引出文档基础的答案；
- 通过基于参考的比较检测句子级幻觉；
- 通过微调的立场分类器对幻觉句子的意识形态倾向进行分类；
- 探索输出的 logits，以将标记级的不确定性与幻觉和漂移关联起来。
幻觉率在不同模型之间差异显著，并集中在有争议的话题上，而来源意识形态在幻觉频率上的差异则较小。相比之下，幻觉内容表现出明显的左倾漂移：大多数幻觉句子被分类为左倾，包括来自右倾来源生成的幻觉。Logit 级分析显示，幻觉发生在高熵生成上下文中，在某些模型中，不确定性也预测左倾漂移，这与“从不确定性到猜测”的机制一致。我们讨论了对审计 AI 媒介政治信息的影响，以及在与选举相关的部署中设计保护措施的必要性。
博主点评： 本研究提供了对大型语言模型在政治信息处理中的潜在偏见的深入分析，尤其是在选举背景下。通过量化幻觉现象，研究揭示了模型生成内容的意识形态倾向，这为未来的 AI 审计和信息治理提供了重要参考。