OA-RAG 是一种基于本体的 Agentic RAG 框架,旨在提升大语言模型(LLM)的答案可信度。它在检索阶段引入本体的形式化推理,将本体的逻辑结构与非结构化注释同时提供给 LLM。对每个生成的答案,OA-RAG 会列出所使用的本体观察,并给出模型评估的 grounding level,分为 entailed、supported、related、unrelated 四类,反映证据的强度。
在实验中,作者选取了三个大规模本体(如 SNOMED CT、MeSH、UMLS)以及六个真实医学问答任务进行评估。相较于仅使用文本检索的 RAG 方法和在本体上微调的基线,OA-RAG 在整体表现上取得最高分,尤其在需要复杂推理的子任务上优势明显。统计结果显示,grounding level 越高的答案其准确率也越高,提供了对答案可靠性的直观指示。
此外,实验还表明本体作为知识源具有竞争力:在部分任务中,OA-RAG 的表现甚至超过了基于教科书等专门资源的领域 RAG 系统,验证了本体在医学知识组织上的价值。
点评