摘要
生成结构化的人工制品，如数据库查询、威胁框架映射和实体模式，利用大型语言模型（LLM）相对简单；然而，使其足够可靠以用于生产部署则面临挑战。我们提出了一种轻量级框架，基于一个核心原则：LLM生成，我们验证。这一重新构思将责任从生成质量转移到验证的严格性。
框架的三个关键属性
- 测试驱动生成：当测试失败时，LLM会收到指示性错误消息，揭示输出失败的原因，使LLM能够理解其错误并优化后续尝试。
- 确定性与基于LLM的测试：确定性测试捕捉可程序化验证的启发式（模式、语法、交叉引用），而基于LLM的测试则评估难以程序化检查的细微语义和特征（意图对齐、逻辑一致性、领域正确性）。
- 专家提炼的评判：基于LLM的测试经过校准，以提炼和复制人类专家的决策分布，将人工的质量门槛转变为可扩展的、可重用的评估代理，反映专业级的验证标准。
应用实例
我们在安全领域展示了该框架在三种人工制品类型中的应用：KQL查询生成、MITRE ATT&CK映射和实体映射，并在Microsoft Sentinel的生产环境中部署。我们相信，这一框架可以超越安全领域，应用于其他人工制品生成任务，提供可靠、高质量输出的路径，同时不牺牲LLM生成的效率提升。
博主点评： 该框架的核心在于通过有效的验证机制提升生成内容的可靠性，尤其在安全领域的应用展示了其实际价值。通过将测试与反馈机制结合，LLM不仅能够生成内容，还能不断自我优化，推动整个生成过程向更高标准迈进。