LGMT 是一个开源工具,旨在发现大语言模型(LLM)在逻辑推理时的自相矛盾现象。传统的静态基准只评估单条查询,无法捕捉模型在等价表述之间的答案不一致。LGMT 通过变形关系(metamorphic relations)实现这一点,核心思路如下:
- 输入一个前提‑结论形式的源测试用例。
- 根据预定义或用户自定义的变形关系生成逻辑等价的后续用例。
- 将两条用例分别送入模型,比较其蕴含预测是否一致,整个过程不需要真实标签。
工具内置 20 条基于一阶逻辑的变形关系,并支持用户编写新关系。自定义关系会交由 Z3 定理证明器进行等价性验证,确保生成的后续用例在形式上与源用例等价。
LGMT 提供两种使用方式:
- CLI:在终端直接调用,支持批量处理。
- Web Studio:可视化界面,适合交互式调试。两者均提供离线 mock 模式,无需 OpenAI 等 API 密钥。
在 6 种主流 LLM(包括 GPT‑4、Claude、Llama‑2 等)上运行,针对 3,091 个变形组的综合基准,LGMT 检测到的不一致率在 20.84%‑29.44% 之间,表明当前模型仍存在显著的逻辑可靠性问题。
项目代码托管于 GitHub(https://github.com/MaxwelsDonc/lgmt-tool),并配有演示视频(https://youtu.be/gou4opptu1U)。
点评:LGMT 为 LLM 的逻辑一致性提供了系统化、可扩展的检测手段,尤其是对无标签场景的适用性,使得研究者和开发者能够在迭代模型时快速定位推理缺陷。