在科学和工程领域,昂贵的黑箱优化无处不在,函数评估成本高昂且预算有限。传统的进化算法和元黑箱优化(MetaBBO)方法通常在候选选择上消耗大部分评估,常常浪费宝贵的预算在劣质解决方案上。
虽然基于代理的进化和贝叶斯优化旨在通过代理模型减少评估次数,但从有限数据构建准确的全局模型仍然具有挑战性,模型偏差容易将搜索困于局部最优。
为了解决这些限制,我们提出了NeurGO,这是一种生成式的MetaBBO框架,直接从历史种群状态合成精英候选者。具体而言,我们采用基于注意力的编码器来捕捉种群级别的搜索趋势,并在此表示上条件化解码器,以生成高质量的候选者,从而避免对大规模后代池的昂贵评估。
我们还设计了一种质量多样性损失,以在搜索过程中保持解决方案质量和种群多样性。通过在CEC 2008和COCO BBOB测试套件上的广泛基准测试,我们的方法在相同的评估预算下实现了更好的优化性能,并表现出更快的收敛速度。
博主点评: NeurGO框架通过创新的生成模型有效提升了黑箱优化的效率,尤其在评估预算有限的情况下,展现了良好的实用性。其基于注意力机制的设计不仅提高了候选者的质量,还增强了种群的多样性,是对传统方法的有益补充。该研究为未来的优化算法提供了新的思路,值得深入探索与应用。