生成式代理模型(GABM)正被用于模拟社交媒体中的信息扩散,尤其是错误信息的传播。要让这些模拟可信,LLM 代理必须复现人类已知的认知偏差,其中最典型的是幻觉真相效应(ITE):对同一主张的多次曝光会提升其被认为真实的程度。本文在四种主流 LLM(Gemma-3-4b-it、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、GPT-5-nano)上,构建了一个两阶段的上下文实验框架,将重复操作嵌入真实的新闻推送交互中。
实验收集了 336,000 条评分数据,涵盖真相、重要性、情感与兴趣四个维度,涉及 100 条陈述、10 种推送变体以及 3 次重复。核心比较是:在同一实验窗口内,重复出现的陈述与完全未出现的陈述的评分差异。我们通过普通最小二乘回归(OLS)和线性混合效应模型(LMM)分别检验整体趋势并控制模型与评分维度的差异。
结果呈现四种截然不同的模式:
- Gemma-3 展现出显著的 ITE,即重复提升真相评分;
- Qwen2.5 只出现单纯曝光效应,真相评分未提升但整体好感度上升;
- GPT-5-nano 对真相无任何重复效应,且对重复内容表现出轻微怀疑;
- Llama-3.1 产生微弱的真相提升,但伴随评估维度(重要性、情感等)的下降。
温度参数对上述现象没有显著影响,方差分解进一步表明 LLM 的评分行为高度依赖上下文。研究提醒我们不能默认所有 LLM 都会复制人类的 ITE,若需在误信息模拟中获得行为逼真度,Gemma-3-4b-it 可能是最合适的选择。
点评:本研究系统揭示了不同 LLM 在重复曝光下的认知表现差异,为社交媒体仿真提供了重要的模型选取依据,也提示了在设计基于 LLM 的社会实验时必须考虑模型特异性和上下文敏感性。