摘要
大型语言模型(LLMs)在安全分析中日益受到信任,负责起草损失、危害、不安全控制行为(UCA)和安全约束等文档,尤其是在系统理论过程分析(STPA)等严谨流程中。然而,快速增长的文献中存在一个盲点:每个系统都被分析,唯独分析工具本身却未被审视,而这个工具作为安全相关系统,可能会产生幻觉标准、发出无法验证的约束,并且从提示到文档没有审计痕迹。我们认真对待这个被忽视的问题——“谁来分析分析者?”并通过将STPA应用于该工具自身来解答。我们提出了宪法元STPA,这是一个围绕闭环构建的LLM辅助STPA工具:该工具对AI辅助安全工具类进行元-STPA,并从损失$\to$危害$\to$UCA$\to$约束链中推导而非断言其治理宪法,最终形成了21条工具原则和8条元安全原则的已发布宪法,每一条都绑定到一个代码执行点。
我们将测量对象形式化为原则集$P$上的宪法边际覆盖算子($|P|=29$),并给出一个隔离覆盖与模型和扫描器之间关系的健全性引理,报告了四个发现:
- 自推导:一个前沿集成模型(claude-opus-4.8${+}$claude-sonnet-4)从工具自身设计中恢复了18/21条经典治理原则和所有8/8条治理原则,而一个较弱的模型组合恢复了12/21和3/8,因此元层受限于模型,而非宪法,且同样的8/8原则从第二个独立创作的工具中重新出现。
博主点评: 这项研究深入探讨了LLM工具的自我分析机制,揭示了在安全分析工具设计中必须考虑的潜在风险。通过引入元-STPA,作者不仅推动了LLM的安全性研究,还为未来的AI工具治理提供了重要框架。强调工具的自推导能力,展示了在复杂系统中如何确保安全原则的有效性。