在当前的商业环境中，基于大型语言模型（LLM）的代理越来越多地被用于解决优化问题。然而，现有的基准测试主要评估这些代理在预先结构化的数学公式上，这忽视了将复杂商业需求转化为正确模型并高效求解的关键挑战。为此，我们推出了 Opti-Agent-Bench，这是一种端到端的基准测试，评估 LLM 在完整优化研发管道中的表现，涵盖从理解商业语言描述到数学建模、算法选择、代码实现，再到解决方案报告生成的各个环节。
我们的设计基于三个支柱：
- 商业语义真实性：通过防模板陷阱的设计，击败模式匹配技术。
- 模块化评估：在问题理解、形式建模、实现和报告之间进行跨模块一致性检查。
- ORAC 双层有效性框架：同时确保任务质量和评分的完整性。
在多个工业规模的任务中，涵盖整数规划、鲁棒优化、随机规划和非凸优化等领域，我们揭示了当前模型的关键失败模式，包括约束遗漏、模型与代码不一致以及报告与实现的分歧，而这些问题在传统的单一指标评估中往往是不可见的。
博主点评： Opti-Agent-Bench 的提出为 LLM 在复杂商业优化问题上的应用提供了全新的视角，强调了从业务需求到解决方案生成的完整流程的重要性。这种基于真实场景的评估方法，无疑将推动优化领域的进一步发展。