摘要
链式思维（CoT）提示使大型语言模型（LLMs）能够处理多步骤推理任务，但生成的中间步骤未必在逻辑上是可靠的。我们提出了 Reason Popper-ly，这是一个神经符号框架，利用归纳逻辑编程（ILP）从推理轨迹中学习关系组合规则，并将其作为在线验证器进行逐步修正。
给定一个LLM生成的轨迹，该方法检查每个推导步骤与学习的规则表的匹配情况，诊断违反类型，用符号推导的修复方法重写错误步骤，并重新生成剩余的后缀，以便模型能够基于经过验证的轨迹生成最终答案。
我们在 CLUTRR，一个多跳亲属关系推理基准上进行了评估，使用了五种语言模型处理2到10步的推理链。在所有模型中，Reason Popper-ly 在终端精度上持续优于标准的 CoT，在最长链上小模型的增益高达48个百分点，前沿模型则为15个百分点。与完全外生的符号管道相比，我们的方法在更困难的实例上表现更佳，保持了模型成功的基础，同时仅修正可验证的推理失败。此外，逐步 ILP 验证提供了细粒度的错误分类，提供了超越最终答案精度的诊断洞察。
博主点评： 结合神经网络与符号推理的 Reason Popper-ly 提供了一种创新的方法来提升 LLM 的推理精度，其在线验证机制不仅提高了结果的可靠性，还为推理过程中的错误提供了深刻的分析。这种方法在处理复杂推理任务时展现出强大的潜力，值得进一步研究和应用。