航空电气设计的修订往往包含多个真实变更,但工程请求可能只授权其中的一部分。若将检测到的所有差异全部传播,会导致影响报告过于宽泛。为此我们提出 LOGIC——一个受控基准和评估框架。该框架在本地部署语言模型,将请求映射到确定性的候选变更清单,然后在类型化的电气可追溯图上仅传播被选中的变更。此种分离使得候选选择错误与后续传播错误能够被区分。LOGIC 包含 168 种情景,其中 144 种为选择案例,24 种为弃权案例。我们对三种 7–8B 参数规模的模型进行评估,比较了意图无关、词汇匹配和结构化证据三种方法,并以 oracle‑root 作为上界。
在 96 个明确锚定的选择案例中,仅使用门控结构化证据的候选 F1 达到 1.0000,而基于 token 的词汇匹配为 0.9677。对于 12 个关系改写案例,token‑lexical F1 为 0.1772,门控结构化证据为 0.0000,而大型语言模型的 F1 在 0.5000–0.6400 之间。随着候选清单规模从 4 增至 64,模型的 grounding 能力下降;但在约 1K–100K 节点的图上,受影响元素和类型化路径的准确率保持相对稳定。严格的证据门控能够抑制误报,却可能剔除正确的语义选择。采用证据为空的弃权策略可将严格弃权准确率提升至 0.6667,降低不安全报告率至 0.1667,但可回答案例的覆盖率下降 16.0–27.1 个百分点。每个模型在六个冲突请求中仍有四个保持不安全。
这些结果表明,在意图难以可靠确定时,应将字面证据、语言模型推理与工程审查相结合,以提升变更影响评估的安全性和准确性。
点评