摘要
硅采样——利用大型语言模型 (LLMs) 模拟人类调查受访者——已成为增强传统调查研究的有前景的方法。然而，大多数评估依赖于分布比较，而非个体层面的预测，这可能导致模式匹配与一致的受访者级预测混淆。
我们提出了跨调查转移，这是一种更严格的评估框架，其中 LLM 被给予一个受访者对一组问题的回答，并必须预测他们对同一调查中完全不同问题的回答。
研究方法
使用来自台湾选举与民主化研究 (TEDS) 2024 的数据，结合三种开放权重 LLM（参数范围为 27B-120B）和监督机器学习基线，我们发现：
- 零-shot LLM 在真正未见项目上的准确率达到 52%，与针对相同人群数据训练的监督随机森林相差仅 6 个百分点；
- 出现了一个稳定的构念可预测性层级，从 67% 的党派态度到 23% 的主权；
- 方差崩溃和安全对齐效应——两个常被引用的 LLM 限制——实际上比之前报告的更为复杂，方差崩溃也影响监督模型，而对齐效应在不同模型家族之间变化显著。
这些发现澄清了硅采样的前景和边界。
博主点评： 本文提出的跨调查转移评估框架为硅采样提供了更严谨的验证方式，突显了 LLM 在人类调查模拟中的潜力和局限性，值得进一步探索其应用场景与优化策略。