摘要
大型语言模型正在迅速缩短开发周期，从简单的辅助工具转变为深度嵌入协作开发环境的自主贡献者。尽管其采用速度加快，但现有的评估技术因其碎片化特性和对模型真实能力的扭曲预测而受到限制，通常基于假设的语法场景。本研究旨在弥补这一空白，提供一种基于真实软件开发实践的全面评估方法。
我们的评估方法侧重于以下几个方面：
- 污染意识：确保评估过程不会受到外部干扰的影响。
- 真实环境中的智能行为评估：评估智能体在实际工作环境中的表现。
- 轨迹意识基准和度量：捕捉现实编码情境、人类对齐行为以及模型失效模式的相关指标。
通过这些方法，我们希望为开发者提供更可靠的智能体评估手段，推动大型语言模型在软件工程领域的应用。
博主点评： 本文提出的评估方法针对大型语言模型在软件开发中的应用，强调了真实环境的重要性，解决了传统评估方法的不足之处。随着技术的不断进步，如何准确评估模型的能力将成为推动其发展的关键。