评估语言模型和代理系统需要同时考虑基准准确率、基于评审的评分、运行时性能、工具调用行为以及检索质量。不同的接口、度量语义和轨迹格式往往导致比较困难，并且可能掩盖代理工作流中的错误。我们推出了 AuditKIT，这是一套源码可用的评估库，能够在单一结果表示中记录上述所有测量。它提供方向感知的度量契约、配置指纹以及可扩展的度量和后端。
对于代理系统，AuditKIT 支持回合感知的工具调用匹配，能够区分并行执行和顺序执行，并将已验证的任务结果与轨迹层面的诊断信息分离。缺失或不可观测的证据会被标记为未评分，而不是直接计为失败。
在检索增强生成（RAG）场景下，AuditKIT 将排序检索度量、人工评审的依据以及确定性的证据检查统一起来。通过七个案例研究，涵盖模型对比、服务运行时、检索、工具调用以及跨系统兼容性，展示了答案抽取方式、运行时行为和度量选择如何影响评估结果。
点评