LLM 引导的进化搜索能够发现复杂程序,但现有方法大多只保存候选程序和适应度分数,忽略了是哪一段组件编辑导致了适应度的变化。这样,变异器 LLM 必须从混乱的历史记录中推断先前编辑的影响,导致搜索缓慢且不稳定,尤其是在本地可服务的 LLM 需要演化多组件系统时问题更为突出。
我们提出 组件感知反馈:对每个评估过的程序与其父程序进行对比,识别出发生变化的组件,并将这些组件以及对应的度量差异记录到归因记忆中,后续的变异会读取该记忆。记忆以两种参考框架保存每一次变化:相对于产生该变化的父程序的 局部 框架,以及相对于种子程序的 全局 框架,既展示了单次修改的即时效果,也展示了自种子以来的累计进展。
我们在 LLM 重排序任务上进行实验,这是一项需要在质量与服务成本之间权衡的多目标优化问题。实验覆盖十二个 \textsc{Bright} 数据集。结果表明:在仅使用三分之一搜索预算的情况下,我们的方法即可达到最强基线的最终质量,并在持出集上实现 $7.2\%$ 更高的 nDCG@10;在考虑成本的目标下,找到的流水线平均更准确且每次查询使用的 token 数减少 $11\%$。这些结果表明,组件感知反馈是提升自演化系统效率的有前景方向。
点评