大语言模型（LLM）被视为潜在的数值优化工具，但其在高维问题中的真实优化能力和局限性尚不清晰。本文构建了一个评估框架，区分解的质量与执行失败（数值误差、约束违背、输出格式错误）。我们选取凸优化、分数规划和约束投影等代表性问题，在不同维度下将 LLM 的解与确定性参考求解器进行比较。实验表明，LLM 能捕获有用的优化结构并给出接近最优的解，即使输出在数值或格式上不完全满足要求。然而，随维度升高可靠性下降，且对底层优化结构高度敏感。为探究局限性，我们引入了迭代细化机制，向 LLM 提供可行性和解质量的针对性反馈。结果显示，迭代细化显著提升了解的可靠性，扩大了 LLM 能产生有效解的维度范围。但仍存在持续的数值和结构错误，限制其作为独立优化器的适用性。本文的发现阐明了基于 LLM 的优化能力与边界，鼓励将 LLM 推理与确定性数值验证相结合的混合方法。
点评