摘要
大型语言模型（LLM）可以以低成本生成合成调查响应，但其在不同问题上的准确性变化不可预测。我们研究在每个任务都有廉价LLM预测的情况下，如何在估计任务中分配固定的人工响应者预算。我们的框架结合了三个组件。
首先，基于预测驱动推断，我们刻画了一个特定问题的修正难度，这决定了随着人工样本量增加，估计器的方差下降的速度。其次，我们推导出一个闭式的最优分配规则，指导将更多的人类标签分配给LLM可靠性最低的任务。第三，由于修正难度依赖于新调查中未观察到的人类响应，我们提出了一种元学习方法，该方法基于历史数据进行训练，能够在没有先行数据的情况下预测全新任务的修正难度。
该框架扩展到一般的M估计，涵盖回归系数和联合分析中的多项式逻辑部分效用。我们在两个涵盖不同领域、问题类型和LLM的数据集上验证了该框架，结果表明我们的方法捕捉到了61-79%的理论上可达到的效率提升，实现了11.4%和10.5%的均方误差（MSE）减少，而不需要针对目标调查的任何先行人类数据。
博主点评： 本文提出的框架通过结合LLM的低成本生成能力与人类样本的优化分配，显著提高了调查的效率与准确性。这不仅为调查设计提供了新的视角，也为未来的研究指明了方向，尤其是在处理新任务时的元学习方法展现了强大的潜力。该方法的有效性在不同领域的数据集上得到了验证，具有很好的实用价值。