随着计算机系统社区对AI驱动的系统进化的兴趣日益增长，AI代理逐步重写系统的框架如AdaEvolve和Engram报告了相较于人类设计算法12-60%的分数提升。尽管这些结果令人鼓舞，但在未知工作负载下，AI进化程序的表现可能更差，并且可能出现可扩展性回归的问题。因此，我们迫切需要自动化机制来揭示AI进化系统程序中的隐藏弱点。
为此，我们开发了AIChilles，输入基线程序 $P$ 和AI进化程序 $P'$，AIChilles会搜索有效工作负载，以评估 $P'$ 在正确性、运行时间、内存使用或输出质量上相较于 $P$ 的回归表现。为应对系统应用的多样性、弱点类型和潜在错误，AIChilles结合了确定性工作负载参数提取、基于代理的约束推断、差分oracle和代码频率覆盖，以发现多样化的失败案例。
在五个系统应用和30个AI进化程序中，AIChilles发现了49个不同的隐藏弱点。我们还展示了在AI驱动的开发生命周期中显式包含AIChilles可以减轻这些弱点的影响。
博主点评： AIChilles的提出为AI驱动的系统进化提供了重要的安全保障，通过主动识别潜在的弱点，可以显著提升AI程序的鲁棒性与可靠性。这一研究成果将对未来的AI系统开发产生深远影响。