工程标准因层次结构、多模态信息和图形、表格、交叉引用等密集关联，对大语言模型构成挑战。现有的检索增强生成（RAG）多依赖非结构化文本检索，难以同时处理文本条款、视觉规范和文档结构的联合推理。为此我们提出 GEMS‑RAG 框架，实现对工程标准的图式化、跨模态推理。框架核心包括：层次化解析，将标准文档拆解为章节、条款等层级；细粒度视觉实体抽取，将图形分解为符号、尺寸标注等可关联的视觉实体；多模态知识图构建，节点覆盖文本条款、视觉实体、工程概念和规范规则，边表示引用、包含等关系；图式混合检索，在推理阶段结合稠密向量检索、稀疏倒排检索和视觉实体检索，并通过图扩展捕获跨模态证据。实验在《统一交通标志手册》（MUTCD）上进行，该手册包含法规、技术图纸和标准化交通设施。相较于仅文本、多模态或纯图 RAG 基线，GEMS‑RAG 在检索效果和问答准确率上均有显著提升。该框架可推广至其他工程规范、技术手册、监管文件和安全关键领域的科学标准。
点评