摘要
本论文提出了一种黑箱评估框架，用于系统性评估大型语言模型（LLMs）从结构化技术文档生成设计结构矩阵（DSMs）的能力。由于当前Auto-DSM管道的闭源特性，该框架引入了一种可复现的方法论，将生成的DSMs（GEN-DSMs）与手动验证的真实矩阵（GT-DSMs）进行基准比较。
评估集成了单次运行和多次运行的视角，结合了结构指标（完整性、正确性、耦合密度）、分类指标（选择性准确度、弃权覆盖率）和稳定性度量（熵、Fleiss' $\kappa$）。为综合这些方面，提出了复合质量评分（Q）。
在两个数据集上进行了控制实验：一个虚构的抽象系统和一个真实的冰箱分解，涵盖了措辞变化、参数-数据集对齐和系统复杂性。结果表明，LLMs能够在结构上生成合理的DSMs，并在结构良好的输入下实现高可复现性，但对模糊性、不一致的依赖定义和提示表述敏感。这些发现突显了幻觉和弃权失败的系统性来源，展示了LLM驱动的DSMs自动化的潜力和当前局限。
所提出的框架为审计Auto-DSM管道提供了透明的基准，并为将基于LLM的分解方法集成到基于模型的系统工程（MBSE）工作流中奠定了基础。
博主点评： 本文通过构建黑箱评估框架，深入探讨了LLM在设计结构矩阵生成中的应用潜力与局限性，为进一步的研究和实践提供了有力支持，特别是在模型驱动的系统工程领域。该框架的提出，无疑为相关领域的自动化工具开发提供了重要参考。