需求工程是系统工程的基础,需求缺陷会向下传播并影响开发结果。虽然大语言模型(LLM)在需求质量评估上展现出潜力,但已有研究表明,直接使用的模型往往漏检大量专家标记的缺陷,在不同质量准则上的表现不均,并且同一次运行的结果会有显著波动。
本研究探讨将专家提炼的系统工程知识注入 LLM 是否能够超越原始模型的评估能力。我们实现了 MARQ,一个模块化、LLM‑无关的原型系统。它在 LLM 之上加入了针对 INCOSE 需求质量准则的准则特定知识栈,以实现对需求缺陷的更细粒度判别。
MARQ 在 NASA 专家标注的需求集上进行评估,使用了 Claude Opus 5、GPT‑5.6 Sol 和开源权重的 Gemma 3 12B,每个模型执行 100 次。结果显示,MARQ 的中位 F1 分别为 0.80(Claude Opus 5)、0.62(GPT‑5.6 Sol)和 0.53(Gemma 3 12B),而对应的原始模型基线分别为 0.55、0.52 和 0.18。
增益的具体表现随模型而异:Claude Opus 5 在缺陷检测率和误报控制上都有提升;GPT‑5.6 Sol 在检测率和执行一致性上提升,但误报增多;Gemma 3 12B 虽然达到了商业模型的水平,但表现仍然波动较大。
对各质量准则的分析表明,改进主要集中在“正确性”和“符合性”两个准则上;在单个准则内部出现了漏检与误报之间的权衡;不同模型对若干准则的响应也存在差异。
这些发现表明,将系统工程知识注入 LLM 是提升可信需求评估的模型无关路径,但仍需针对具体准则进行干预,并结合人工审查以确保评估质量。
点评