大型语言模型(LLM)正越来越多地生成结构化输出,这些输出会被程序和下游系统直接消费。仅靠语义正确性难以保证执行可靠性。为此我们构建了 SERIAL-7 基准,它是一个韩英双语的可执行验证框架,覆盖七种不同的表示形式。\n\n基准使用 177 份经过人工验证的规范工件,将生成任务划分为三步:推导(Derive)即从任务描述得到语义目标,实现(Realize)在约束条件下生成具体工件,保持(Preserve)确保跨表示的内容一致。框架定义了 43 条原子表示约束,并配备可执行检查,分别验证格式、结构以及任务特定的语义,从最宽松的表示合规到最严格的完整工件有效性逐层递进。\n\n在十种模型上进行实验,REALIZE‑L3 的人类评分率(HSR)在 42.0% 到 93.9% 之间波动。进一步的完整合规评估揭示,许多模型虽然能够给出正确的最终答案和合法的表示,却在工件层面出现隐藏错误。\n\n这些结果表明,可靠的结构化生成必须配合显式的、可执行的验证手段,关注工件是如何被实现以及在不同表示之间如何保持一致。\n\n点评:SERIAL-7 为评估 LLM 的结构化生成提供了系统化的验证路径,强调了从语义推导到跨表示保持的全链路检查,对推动可验证 AI 具有重要意义。