知识图谱（KGs）越来越多地通过自动化提取管道构建；然而，这些系统往往会引入虚假或不完整的三元组，从而降低下游性能。现有的评估方法主要依赖于特定任务的指标或小规模的人工验证，提供的洞察力有限，无法充分反映提取图谱的结构和语义的真实性。
我们提出了一种新颖的、可解释的内在KG质量评估指标，该指标衡量自动提取的图谱与捕捉源文本中关键名词短语、谓词关系及基本语言现象（如否定）“理想”图谱的接近程度。我们的框架集成了两个互补的组件：
- 实体级评估：评估完整性、解析质量和连接性；
- 关系级评估：通过词汇相似性、依赖解析对齐和轻量级否定处理来判断谓词的保留和多样性，以确保语义的准确性。
我们在多个最先进的三元组提取系统和数据集上评估了我们的指标，包括WebNLG、TinyButMighty和BenchIE，结果表明它能够可靠地识别现有指标忽视的遗漏、冗余和结构偏差。
我们的工作提供了一种可扩展的、模型无关的可解释框架，用于比较自动化KG构建方法，并为标准化评估奠定基础。我们还通过消融研究验证了该指标，隔离了名词和动词组件，并通过下游评估表明KGCQual分数与同一提取KG的链接预测性能显著相关。代码库可在GitHub上获得。
博主点评： KGCQual通过引入可解释的内在质量评估指标，为知识图谱的构建质量提供了新的视角。其双重评估机制有效地捕捉了图谱的结构和语义特征，为后续的KG构建和评估提供了坚实的基础，具有广泛的应用前景。