随着大语言模型（LLM）代理从单纯回答问题转向执行完整的过程，错误往往不表现为明显的答案错误，而是隐藏在跳过检查、分支、依赖或不变式等关键步骤后，使最终输出看似合理。传统的仅看答案的评估方式只能判断结果是否符合预期，基于执行轨迹的评估可以看到实际操作，但都无法明确哪些义务在查询时被激活。
我们提出 ContractEval，这是一套诊断框架，旨在将过程指令显式化为查询激活的义务，并将这些义务与模型的响应或执行轨迹进行匹配。通过这种匹配，遗漏检查、错误分支、顺序错误、额外操作、不变式违背以及输出契约违规等都会被归类为不同的合规失效类型。
在一套受控的审计过程合同上进行实验，结果显示，仅靠答案评估或轨迹评估会漏掉大量人为注入的结构性错误；而在金标准的期望图与观察图下，ContractEval 能够检测并定位所有错误。使用 LLM 提取义务的方式虽然保留了大部分信号，但对模型校准仍然敏感。
因此，ContractEval 并非提供合规保证，而是把过程合规性从隐含的答案质量转变为可审计的显式检查手段。
点评：该框架为评估 LLM 在复杂过程中的可靠性提供了可操作的工具，尤其适用于需要严格遵循业务规则的场景。