摘要
科学推理图提取(SRGE)旨在恢复观察、证据、中间主张和论文级结论之间的显式链接。虽然大语言模型(LLMs)能够生成类似图形的科学解释,但其输出往往存在语法错误、边标签漂移、根节点方向错误以及源锚点不清晰等问题。为此,我们提出了PEARL(通过抽象和修复层的皮尔士提取),这是一个无训练的框架,旨在将嘈杂的LLM图形响应转换为可审计的推理图,并修复其语义有效性。
PEARL首先在封闭的皮尔士框架下实现显式图内容,然后利用匹配的基于证据的评判反馈来修复被拒绝的边类型、局部推理步骤和终端根节点,同时保留审计轨迹。在来自ARCHE的五个70篇论文模型档案上,PEARL将严格的通过率从0/350提升至300/350,平均REA值从0.339提高至0.906。这些图形为需要可检查推理痕迹的研究代理和AI科学家工作流提供了可靠性层,而非不受约束的图形再生。代码和审计文档可在 GitHub 获取。
博主点评: PEARL框架的提出为科学推理图的准确性和可审计性提供了新的视角,通过结合反馈机制和严格的语义结构,极大地提升了LLM生成内容的可靠性。这对科学研究的透明度和可信度具有重要意义。