在商业环境中部署大型语言模型的团队需要评估系统，然而大多数团队将评估视为静态模型选择：运行基准测试、排名模型并部署赢家。这种框架忽视了评估在生产系统中的主要价值，即诊断系统性能不足的原因并指导修复方向。我们提出了EvalLoop，一种以评估驱动的迭代改进方法论。
EvalLoop围绕三种机制组织评估：
- 维度指标分组：将质量分解为与业务相关的维度，从而实现正交故障诊断；
- 故障模式分类：对输出失败的原因进行分类，连接诊断与行动；
- 结构化迭代工作流：在每次评估运行中变化一个系统变量，并比较评估前后的维度特征。
我们通过一个关于销售智能简报生成的案例研究验证了EvalLoop（10个模型，3个提供商，18个指标，5个维度，3次迭代）。维度诊断发现69%的幻觉失败是由提示引起的解释错误，这在总体评分中是看不出来的。针对性修正提示使最佳模型的整体表现从82.6%提升至94.6%，且改进集中在已诊断的维度（内容准确性提升16.8个百分点，综合能力提升26.4个百分点）。在之前的一次迭代中，无方向的配置更改没有产生任何影响，说明在没有诊断的情况下迭代的成本。
我们还展示了维度剖析能够支持特定部署的模型选择，并且在决赛小组中进行一次性盲审（4个模型，16个案例）确认了维度排名，同时解决了多标准部署的权衡问题，相比评估整个设计，审查负担减少了94%。EvalLoop被打包为可重用的工件（操作手册、代理规范、模板库），以便其他团队采纳。
博主点评： EvalLoop提供了一种系统化的方法来提升AI模型在业务环境中的表现，通过清晰的维度划分与故障分类机制，团队能够有效识别问题并进行针对性改进。此方法的实用性在于它不仅能优化现有模型，还能指导未来的模型选择，值得广泛推广。