摘要
大语言模型的调查式评估通常将提示响应视为模型价值观或信念的度量。然而，这一假设在将响应视为政治价值、社会态度或信念的证据时特别脆弱。我们探讨了客观问题与主观问题（如意见或价值观）之间的提示鲁棒性是否存在差异。
我们对四种指令调优的模型系列进行了评估，使用了三种客观数据集（MMLU、ARC 和 CulturalBench）和三种主观数据集（Political Compass Test、ValueBench 和 World Values Survey）。对于每个问题/陈述，我们应用了多种类型的提示变化，例如措辞、框架和格式的变化，并测量模型在不同变体间是否给出相同的答案。
通过使用二项广义估计方程，我们发现模型、数据集、提示类别及其交互作用具有显著影响。数据集类型的影响也是显著的，而数据集类型与提示类别之间的交互作用则非常显著。这些结果表明，提示鲁棒性依赖于问题类型、提示变化和模型。
博主点评： 本文揭示了大语言模型在处理不同类型问题时的鲁棒性差异，强调了设计评估时需考虑问题的性质。这一发现对模型评估和优化具有重要意义，尤其是在政治和社会领域的应用中。理解模型在不同情境下的表现，将帮助我们更好地利用和改进这些技术。