在代码生成领域，大型语言模型（LLMs）展现出了显著的能力。然而，现有的大多数评估仅关注单次尝试的准确性，忽视了在真实编程中至关重要的迭代修正过程。本研究系统性地探讨了LLMs通过执行反馈来纠正自身代码的能力。
本研究使用四个模型和两种主要编程语言，针对现实世界的编程问题，评估了LLMs在迭代修正框架中的表现。该框架中，LLMs在每次尝试后接收编译器错误消息和测试用例反馈。研究引入了用于评估代码失败的指标，分析修正模式，并比较推理模型与非推理模型的有效性，为LLM驱动的代码生成系统中反馈循环的理解和实际应用提供了可行的见解。
研究结果表明，推理模型在迭代中持续改进，显著优于非推理模型在利用反馈方面的表现。同时，语法和运行时错误比逻辑或算法失败更易处理。
博主点评： 本文深入探讨了LLM在代码生成中的迭代修正能力，强调了反馈机制的重要性。这一研究为提升代码生成的实用性提供了新的思路，尤其是在面对复杂编程问题时，推理能力的提升显得尤为关键。