NeFut Logo NeFut
EN 管理员登录

[AI学术] LGMT:用于检测大语言模型逻辑推理可靠性的工具

发布于:2026-10-26 22:00 最后更新:2026-10-27 00:43
#AI #LLM #Open Source

LGMT 是一个开源工具,旨在发现大语言模型(LLM)在逻辑推理时的自相矛盾现象。传统的静态基准只评估单条查询,无法捕捉模型在等价表述之间的答案不一致。LGMT 通过变形关系(metamorphic relations)实现这一点,核心思路如下:

  1. 输入一个前提‑结论形式的源测试用例。
  2. 根据预定义或用户自定义的变形关系生成逻辑等价的后续用例。
  3. 将两条用例分别送入模型,比较其蕴含预测是否一致,整个过程不需要真实标签。

工具内置 20 条基于一阶逻辑的变形关系,并支持用户编写新关系。自定义关系会交由 Z3 定理证明器进行等价性验证,确保生成的后续用例在形式上与源用例等价。

LGMT 提供两种使用方式:

在 6 种主流 LLM(包括 GPT‑4、Claude、Llama‑2 等)上运行,针对 3,091 个变形组的综合基准,LGMT 检测到的不一致率在 20.84%‑29.44% 之间,表明当前模型仍存在显著的逻辑可靠性问题。

项目代码托管于 GitHub(https://github.com/MaxwelsDonc/lgmt-tool),并配有演示视频(https://youtu.be/gou4opptu1U)。

点评:LGMT 为 LLM 的逻辑一致性提供了系统化、可扩展的检测手段,尤其是对无标签场景的适用性,使得研究者和开发者能够在迭代模型时快速定位推理缺陷。

原文链接: https://arxiv.org/abs/2610.32627

[h] 返回首页