摘要
随着大型语言模型（LLMs）生成越来越长的输出，有效的不确定性估计必须在细粒度水平上识别错误，而不是简单地丢弃整个响应。虽然已有相关方法，但在任何分辨率（从单个token到整个生成内容）评估不确定性依然具有挑战性，且高度敏感于标签的不完美，这使得零噪声基准显得尤为重要；然而，长文本生成基准往往依赖于易出错的标签，而非确定性真值。
我们引入了单答案原子长文本目标（SALT），这是一个包含六个程序生成任务的基准，具有单一的确定性长文本真值，使得在没有外部评审的情况下，可以进行单元级的正确性、校准和排名评估。
利用SALT，我们对50多种LLM进行了分析，揭示了关键的见解：我们识别出主导各个不确定性方面的置信度函数，表明在原子分辨率下，置信度排名往往会崩溃，尽管在较粗的行级单位上会出现更清晰的可分离性。
SALT还使得在生成过程中进行受控的原子级干预成为可能，揭示了未来错误的两个可分离驱动因素：来自损坏前缀的传播，主要受全局上下文正确性的影响，以及随着答案上下文长度增加而导致的有限退化。
最后，我们展示了通过思维链提示或通过训练内化的推理引入了一种权衡：在提高准确性的同时降低置信度排名。这些发现直接影响到需要可靠错误识别和缓解的风险关键应用。
博主点评： 本文通过引入SALT基准，深入探讨了LLM在长文本生成中的不确定性评估问题，为未来的研究奠定了坚实基础。其对错误传播的分析尤其具有启发性，能够帮助研究者更好地理解和优化模型的生成质量。