摘要
先前的研究表明，链式思维（CoT）推理常常不可靠：模型所述的推理过程并不总是准确反映其输出生成过程。检测这种不可靠性需要控制实验干预，但无法在评估记录后进行干预。因此，我们转向一个更易处理的问题：所述推理是否与其伴随的答案在逻辑上一致。与忠实性不同，一致性可以仅通过记录进行评估，而无需干预。
我们引入了推理一致性扫描，这是一种在AI安全评估记录中检测一致性的可重用方法。我们的贡献有四个方面。首先，我们将推理一致性正式化，与忠实性区分开，并定义了六种不一致性子类型的分类。其次，我们构建了一个包含60个记录的验证基准，这些记录是从InstrumentalEval输出中手动调整而来的。第三，我们实现了一个针对InspectScout的工作扫描器，这是首个针对安全评估记录中此属性的扫描器。最后，我们报告了在四个生成模型和三个评估中的结果，显示推理不一致性是可检测的，并且在模型和任务类型之间呈现系统性变化。
博主点评： 该研究为AI推理的一致性提供了新的评估框架，强调了在安全评估中确保推理逻辑一致的重要性。这一方法不仅能够提高模型的透明度，也为进一步的AI安全研究奠定了基础。