语言模型正被用于生成合成调查样本(亦称硅样本),而决策模型是一类返回评分尺度每一点概率的模型,而非文本。本文探讨这些模型,尤其是最新的生成式大模型,能否替代真实受访者完成心理测量调查。我们选取了来自十一家供应商的十四个决策模型和四十七个生成式大模型,对一个公开的立陶宛组织心理学调查(263 名受访者,68 项)进行测试。实验使用了 100 份真实受访者的个人画像、心理测量相似度得分(Psychometric Similarity Score,PSS)以及统计基线进行评估。
最佳生成式模型 MiniMax M3 的 PSS 为 0.813,接近仅基于其他受访者的高斯 copula 拟合得分 0.824,低于样本内 copula 拟合的 0.927。另一组 100 名真实受访者的得分低于最佳模型,这说明在该样本规模下 PSS 难以将模型与真实受访者区分。
在十条产品线中,有五条最新的生成式版本的得分低于同线的早期版本,且差异超出重抽样噪声;没有任何版本出现提升。使用默认的四舍五入输出时,十四个决策模型中有十三个的得分低于生成式参考模型 gpt-5.4-mini。
在四十七个生成式模型中,有三十三个在项目相关性重现方面优于所有决策模型。对受访者进行平均后,概率向量与人类项目边际分布的吻合度远高于四舍五入后的答案。它们在受访者排序上与基于 163 名真实受访者的画像回归拟合相当。
然而,在预测每个人自身答案时,所有决策模型的表现均不如其他受访者的答案频率,主要因为其平均向量与真实受访者差异较大。画像回归仅将这些频率提升了 1.0%,说明画像字段对个人回答的解释力有限。基于此类画像构建的合成受访者应侧重于样本层面的忠实度。
点评