进化策略（Evolution Strategy，ES）是一种与基于梯度的微调相比，为资源受限的大型语言模型（LLM）推理提供了一种有前途的替代方案。然而，在亿级参数的高维空间中直接应用ES是非常低效的。大多数随机扰动几乎与有用的更新方向正交，导致优化不稳定。我们提出Hyper-ES，一种基于子空间的ES框架，避免了ES在全参数搜索中的弱点，同时利用其在低维优化中的优势。Hyper-ES首先进行少量廉价的基于梯度的微调运行，以获得下降方向。虽然每个方向可能只提供有限的改进，但它们的跨度形成了一个紧凑的适应子空间，捕获了有用的推理更新。然后，Hyper-ES应用CMA-ES来优化层级DARE-TIES合并系数在该子空间中，允许ES在有意义的下降方向的组合上搜索，而不是在任意的全模型扰动上。我们在三个Qwen2.5-Instruct和DeepSeek-R1-Distill骨干网络上评估Hyper-ES，跨六个数学推理数据集。结果表明，Hyper-ES始终比GRPO-LoRA高出1%，同时需要10%较少的空间消耗的梯度更新。代码见https://github.com/kuangrepi/Hyper-ES。 博主点评： Hyper-ES 框架通过合并下降方向，有效地提高了 ES 在大型语言模型推理中的优化效率，这为资源受限的场景提供了一种有前途的解决方案。