摘要
提示包装器常常仅在格式上有所不同，但这些差异可以显著改变模型得分，从而影响排行榜的结论。我们在一个基于令牌控制的协议下研究了这种变异，并引入了两个互补指标：格式敏感性指数（FSI），表示包装器选择引起的准确性范围，以及解析敏感性指数（PSI），表示答案解析的相应范围。
在 140,000 次 OpenRouter 生成中，涵盖 7 个问答任务、5 种包装器类型，以及 7B 到 72B 参数的 4 个指令模型，我们发现不同模型的平均 FSI 变化超过 30 倍，且大部分由合规性失败所解释。固定效应回归分析表明，即使控制了任务、模型和包装器，解析性仍然是准确性的强预测因子。
我们认为，在报告准确性时忽略包装器变异和合规性会导致统计结果的不稳定，并为基准测试和结构化输出的部署提供了实际建议。
博主点评： 本文揭示了提示包装器格式对模型表现的重大影响，强调了在LLM基准测试中考虑格式敏感性的重要性。这一研究为未来的模型评估提供了新的视角，建议在设计和评估阶段更全面地考虑合规性和变异性，以提高结果的可靠性。