EliteTable 是一种自我改进的程序搜索算法,核心由大语言模型(LLM)引导。算法维护一个容量固定的表格,存放得分最高的解。表中的解用于生成新提案、编辑已有解以及混合多个解。
实验在 Gymnasium 的六个控制任务上进行,每个任务执行十代搜索,每代提供五十个候选槽位,并在每个任务上独立初始化十次搜索。所有任务的候选得分中位数在首代到末代之间均有提升,五个任务的最终获胜者得分中位数也上升。以 CartPole‑v1 为例,所有十次搜索的获胜者在第一代即达到了搜索得分上限。四个任务的十组持出端点均有改进,BipedalWalker‑v3 与 CarRacing‑v3 虽未达报告目标但仍有提升。Acrobot‑v1 的十次搜索在持出回合中表现下降,整体中位变化为负。
结果表明在程序搜索过程中能够实现性能提升,并在部分任务中将获胜者的收益迁移到新回合。仍需通过对比实验和消融研究来确认 EliteTable 的相对优势以及各组件的贡献。
点评