NeFut Logo NeFut
EN 管理员登录

[AI学术] 利用进化的约束达到上限:何时开始重量训练

发布于:2026-10-10 22:00 最后更新:2026-10-12 00:49
#Machine Learning #optimization #LLM

改进长时程 LLM 代理有两条路径:在冻结模型外部进化 harness,或直接对模型权重进行训练。我们让自我进化的 harness 先提升系统能力,然后交叉种子并让进化后的 harness 与基线模型以及已训练权重一起运行,以辨别哪些收益可以写入权重,哪些仍需运行时补救。

关键在于读取代理的失败组成:对每条失败轨迹标记触发的首个信号,可将失败分为过程失败(调用阻塞、循环、步数耗尽)和内容失败(计划质量差)。进化 harness 能修复过程失败,其行为可以进一步迁移到权重中;而内容失败则是权重训练的目标。

在 DeepPlanning 基准上,自我进化的 harness 循环将 Qwen3.5-4B 的 held‑out 分数从 0.16 提升至 0.30,Qwen3.5-9B 从 0.32 提升至 0.44;4B 模型的交付率从 55% 上升至 90%,而内容失败仍留给权重处理。

我们在进化后的轨迹上训练 LoRA 适配器,结果显示:在原始 harness 下,适配器为两种模型各加 +0.13 的 held‑out 分数;在 4B 上,适配器与 harness 叠加,使 held‑out 分数翻倍;在 9B 上,仅适配器即可匹配完整进化线路的效果,将内容失败比例从四分之一降至二十分之一。相对的,使用答案随机打乱的安慰剂适配器表现不如基线模型。

该循环同样迁移到 WebArena‑Lite(117 项未见任务),提升 +0.09,收益主要来源于模型的感知,适配器未再带来额外提升。

最终得到的诊断‑干预规则是:先读取失败组成决定使用 harness 还是权重;再检查接受的编辑改变了哪些方面,以决定哪些收益应写入权重进行训练。所有分数均为四次 rollout 的均值,对新锚点进行同夜评估(除非另有标记),覆盖六个模型家族的八个模型和两个基准。

点评:本文展示了通过系统化的失败分析,将运行时 harness 与离线权重训练有机结合的思路。实验表明,针对过程性瓶颈的 harness 进化能快速提升基线,而内容层面的提升仍需依赖权重微调或 LoRA 适配器。该两阶段诊断‑干预框架为大模型长期优化提供了可操作的路线图。

原文链接: https://arxiv.org/abs/2610.11655

[h] 返回首页