在 LLM‑agent 意见模拟中,每个代理在看到自己上一次的概率 $p$ 以及邻居报告的概率后,给出该声明为真的概率,这个数值在下一轮成为它的状态。若该数值描述的是代理的立场而非所见句子本身,则把声明改写为其互补形式,并把每个概率 $p$ 替换为 $1-p$,理论上两次报告的和应为 $1$。
我们在三个小型开源模型上进行测试:Qwen3‑4B、Llama‑3.2‑3B 和 Gemma‑3‑4B。对 2,304 条来自运行中网络模拟的代理状态进行评估,Qwen 的配对报告平均和为 $1.18$,在 AVeriTeC 的 48 条真实事实核查声明上同样超过 $1$。在一个受控基准中,构造了 24 个仅有两种可能结果的世界,三种模型均出现相同的失效。
该偏差是同义改写导致的变化的两到十倍,并在重复抽样、不同同伴组规模以及报告强度下均保持。将这些报告反馈到两个从互补状态开始的群体时,群体并未保持镜像关系:五轮后所有模型的差异均为正。
将每个答案与其配对答案的互补进行平均,按构造可恢复一致性并降低两种表述下的 Brier 损失,但在最终轮次仅有一种模型的表现优于原始两种表述中的更好者。对同一模型进行的 schedule‑by‑targeting 实验显示出一个小且稳定的交互效应,因为此类 sweep 保持了声明的措辞不变。
因此,在把模拟得到的概率视作信念之前,需要专门的重述一致性测试。
点评