在本文中，我们系统评估了大型推理模型（LRM）在日常逻辑推理中的表现。我们构建了一个基于语言学和语用学推理现象的基准，用以衡量模型是否符合日常推理模式。随后，在相同的提示条件下，将推理模型与非推理模型进行对比。实验结果显示：当日常推理偏离形式逻辑规则时，推理模型的性能往往下降；使用 chain‑of‑thought 提示的部分非推理模型在日常推理上超越了对应的推理模型；通过额外指令进行提示只能在有限程度上控制模型的推理行为。这些发现表明，当前的推理模型尚未可靠地捕获日常推理能力，提示后训练的改进和更广泛的评估仍然是必要的。
点评