在复杂的数学优化中，大型语言模型（LLMs）的应用日益增多，尽管触发这些模型的用户往往并不意识到这一点。实际上，许多现实问题归结为寻找更好或最佳解决方案。LLM作为优化器的领域主要有三种范式：直接优化、工具增强优化和工具创建优化。
- 直接优化：利用迭代提示和启发式生成来导航解决方案空间。
- 工具增强优化：将自然语言问题转化为正式规范，并协调外部求解器。
- 工具创建优化：进一步使用LLMs发现可重用的算法或启发式方法，这些方法在边际成本为零的情况下可以部署。
我们描述了基于文献中的基准测试的当前性能前沿，识别了当前架构中的关键推理差距，并讨论了直接优化的未来潜力与工具增强优化的可审计性之间的权衡。
即使是未来更强大的模型，也可能选择工具创建，以提高对重复性问题家族的操作效率。
博主点评： 该研究揭示了LLM在优化领域的多样化应用，尤其是在工具增强与直接优化的比较中，强调了性能与可审计性之间的关键权衡，这为未来的研究方向提供了重要的思考基础。