本研究聚焦平台政策在人工用户上的测试,强调代理的真实性重要性,同时警示伪造账号可能在选举前操纵舆论。我们对八名塞尔维亚受试者进行问卷、深度访谈和书面自我介绍,记录他们对68条社交媒体帖子的反应。随后让四种语言模型在五种提示条件下预测这些反应,提示变量包括个人档案内容(人口统计信息 vs. 态度描述)和指令风格(分析式 vs. 直觉式)。
结果显示,使用态度信息的提示在预测准确性上远超仅提供人口统计背景。模型在遵循给定档案方面的表现甚至超过受试者对自身问卷答案的自洽程度,而一致性在有档案信息时与忠实度无关。指示模型“直觉且立即”作答的条件获得最高忠实度,并将个体差异的压缩率从原本的7倍人类水平降至3倍。
该优势在模型未在问卷中涉及的话题上仍然显著,且在这些未知主题上超越了人群基准,表明此类直觉提示的代理可作为通用模拟用户,而非仅限于特定专题的专家。研究暗示,在某些任务中基于直觉的提示方式可能优于基于推理的方式,对语言模型的开发具有潜在启示。
点评