Evolution Strategies（ES）只需要前向计算即可对大语言模型（LLM）进行全参数微调，具备内存友好性。但传统 ES 在所有任务上统一对奖励取平均，并将任务层面的种群反馈压缩为单一标量，难以反映模型能力提升时各任务的学习价值变化。为此我们提出 DART-ES（Difficulty‑Aware Reweighting and Targeted Replay for Evolution Strategies）。
DART‑ES 通过统计扰动种群在每个任务上的通过率，估计该任务的局部可解性，并结合历史观测构建共享的动态难度状态。该状态同时驱动（1）连续的难度重加权，使得当前模型更关注难度提升显著的任务；（2）稀有可解样本的目标回放，提升对少数成功样本的利用率。整个过程不需要额外的难度预测模型，也不依赖反向传播。
实验在五个基模型上均优于原始 ES，平均准确率从 72.07% 提升至 73.53%，在 GSM8K 上超过 GRPO 的 73.26%。在五个数学推理基准上，DART‑ES 达到 49.20% 的平均准确率，略高于 ES 的 48.34%，并与使用 RL 的强 7B 模型竞争。进一步在指令微调、代码生成以及 Countdown 任务上使用 14B 模型进行验证，表现出跨任务的强泛化和对更大模型的可扩展性。
除性能提升外，DART‑ES 在系统效率上也有明显优势：相较于 GRPO，单步运行时间降低 15.2%–50.2%，GPU 峰值内存占用降低 21.1%–51.1%。即使在全参数微调的情况下，DART‑ES 的运行时和显存仍低于 GRPO+LoRA 的组合方案。
点评：DART‑ES 在保持全参数微调优势的同时，通过难度感知的动态重加权和目标回放，实现了性能与效率的双重提升，展示了进化策略在大模型微调中的潜力。