人工智能编码代理被视为黑箱:我们无法检查它们如何生成代码,但可以观察它们所做的更改。这一区别对基于搜索的软件工程(SBSE)至关重要,其中遗传改进等技术依赖于反映代码实际转换的变异操作符。在 AIDev-pop 的 33,596 个代理 PR 中,针对性能的案例不到 1%,使得每个案例成为洞察不透明代理行为的稀有窗口。我们对 216 个 PR 中的 1,254 个与性能相关的 diff 块进行分类,涵盖五个代理系统,并使用双重 LLM 交叉管道对照 Even-Mendoza 等人(2025)的 18 类句法变异分类法。分析结果显示,三类变异占主导地位:名称修改(37.0%)、对象创建(26.4%)和类型变更(22.7%),这一特征与之前的遗传改进语料库显著不同,后者中没有变更占到 84%。每个代理的部署系统承诺使用独特的变异词汇,每种性能策略激活的类别子集也大相径庭。因此,代理身份和目标策略是有效缩小 SBSE 操作符空间的重要先验信息。复现包可访问: GitHub。
博主点评: 本文揭示了 AI 代理在代码优化中的具体变异模式,强调了其在软件工程领域中的潜力和挑战。通过对性能相关的拉取请求进行细致分类,研究者为理解 AI 代理的行为提供了重要的实证基础,值得在实际应用中深入探讨与实验。