在本文中，我们系统地分析了大语言模型（LLM）在航空出行、餐厅选择和消费品偏好三个领域生成的概率分布。实验覆盖了九种开源权重模型，分别在不同温度、贪婪解码以及提示词和顺序扰动下进行采样。结果显示，所有模型都具备自洽性：最可能的选项在重复抽样时能够快速收敛。然而，不同模型族和规模之间存在显著分歧，即使是最高概率的结果也缺乏共识。这种分歧在三类选择任务中均表现一致，且对温度、解码策略和提示微调具有鲁棒性。研究表明，模型的选择对生成的偏好分布影响大于提示词的措辞，挑战了“足够强大的 LLM 可替代调查受访者并产生相似分布”的常见假设。
点评