在设计有效的多目标贝叶斯优化（MOBO）算法时，需要平衡许多相互依赖的设计选择，其最佳配置依赖于具体问题，通常需要深厚的专业知识。我们将LLaMEA框架扩展到MOBO，利用大型语言模型作为进化策略中的变异和交叉算子，以生成完整的算法实现，并将SMAC超参数优化集成到进化循环中。
通过九次进化运行，我们生成了大约900个算法，并在十二个合成问题（ZDT、DTLZ、WFG）和三个实际工程问题（RE）上进行了基准测试，使用BoFire qParEGO实现作为最先进的贝叶斯优化基线。在合成测试集中，最强的生成算法获得了最高的平均归一化超体积（0.971，qParEGO为0.869），同时消耗的墙钟时间大约减少了60倍。Friedman检验及后续分析将两者归为同一顶级表现组，逐个问题的测试发现生成的算法在12个问题中有7个明显优于qParEGO，且没有一个问题表现更差，以更低的成本匹配了最先进的准确性。
在三个未见过的实际工程问题中，生成的算法获得了最佳的平均归一化超体积（0.985，qParEGO为0.971）——在三个问题中有两个明显优于qParEGO，且墙钟时间成本约低3.4倍，确认了这种改进超越了合成领域。因此，基于LLM的进化搜索能够发现难以通过手动设计达到的帕累托效率设计。
博主点评： 该研究展示了大型语言模型在算法生成中的潜力，通过进化策略优化贝叶斯算法，显著提升了效率与效果。这一方法不仅降低了专家知识的依赖，还拓宽了算法设计的边界，预示着未来自动化算法设计的广阔前景。