在本文中，研究者把本体本身作为检查器来评估 LLM 代理在知识图谱上的回答可靠性。比较了三类本体来源：人工策划的本体、由大语言模型生成的本体以及从图数据中挖掘得到的本体。实验在公开的图谱、以及包含约 $10^{9}$ 条三元组的私有图上进行，使用了开源权重模型和商业闭源模型，并分别将本体作为提示上下文、独立检查器或两者兼用。结果显示，不同来源在捕获错误与产生误报之间存在权衡。策划本体虽然在 UniProt 上标记了更多本应被纠正的正确答案，但在真实代理回答中，其误报率仅比随机标记略低。另一方面，策划本体有时会与自身数据冲突，导致结构检查漏掉某些错误。组合多源本体或向代理提供检查器的具体反馈可以在一定程度上提升整体准确率。
点评