在开放式任务中，大型语言模型（LLM）越来越多地用于模拟多样化的人类意见，如合成调查、焦点小组建模和公共意见预测。然而，LLM 输出表现出系统性的意见同质化。实践者探索了多种干预措施以增加多样性，但现有方法的评估往往缺乏一致性，导致难以归因于特定组件的增益。
为了推动对 LLM 输出多样性的科学理解，我们设计了一个因子实验，分离两个主要干预维度：输入条件（通过角色深度实现）和交互架构。我们在 7 个模型上针对 100 个真实用户的开放式问题评估所有条件，并使用多种互补指标测量多样性。
我们的研究挑战了几个常见假设。首先，更多的角色细节并不会单调地增加多样性。角色条件的初步步骤已经捕获了大部分增益，而进一步的细节扩展并不总是能提高多样性，甚至可能在某些模型上降低多样性。
其次，我们发现不同的交互架构探索了几乎不重叠的意见区域，而不是寻求单一最佳的交互架构。结合多种架构可以获得比优化任何单一架构更广泛的覆盖。
最后，常见的低成本替代方法，如提高采样温度和添加多样性指令，与结构化干预相比，其效果微乎其微。总体而言，我们的研究表明，多样性并不是沿着某一单一维度的扩展，而是对干预的结构形式和组合高度敏感。
博主点评： 这项研究深刻揭示了在 LLM 中实现意见多样性的复杂性，提示我们在设计和选择干预措施时需关注其结构性和组合效果，而不仅仅是简单的数量增加。对多样性的科学理解将推动更有效的模型应用。