建筑自动化系统正逐步使用 Brick、ASHRAE 223P 等本体建模为语义知识图谱(KG),为人工智能应用提供机器可读的底层结构。将自然语言问题翻译为 SPARQL(text‑to‑SPARQL)能够让运维人员通过语言代理直接查询这些图谱,但缺乏大规模的自然语言/ SPARQL 对齐基准限制了研究进展。
本文提出 Build2SPARQL,一个基于 KG 的流水线生成的大规模基准。流水线首先利用图遍历代码完整生成并验证 SPARQL 查询,确保查询的正确性独立于后续模型;随后仅使用大语言模型(LLM)生成对应的自然语言问题。该过程挖掘出六类查询模式:线性链、分支、UNION、聚合、OPTIONAL 和属性过滤,并在五种词汇层次上对每条查询进行表述。
在 201 个建筑 KG(180 个 Brick、21 个 ASHRAE 223P)上运行流水线,得到 6,136 条可执行 SPARQL 查询和 30,680 条自然语言问题。对 300 条随机抽样问题进行双评审,语义保真度和自然度均达到 98.8%,操作可行性为 84.0%。进一步在三种开源权重模型上进行检索增强评估,零样本精确匹配率从 0.2%‑20% 提升至三样本检索后 56%‑65%。
点评:Build2SPARQL 通过将查询生成与自然语言生成解耦,提供了规模可观且高质量的基准,为文本到 SPARQL 的研究提供了可靠的实验平台,并展示了检索增强在提升模型零样本能力方面的潜力。