NeFut Logo NeFut
EN 管理员登录

[AI学术] SAGE:自演化代理的统计接受门

发布于:2026-09-30 22:00 最后更新:2026-10-06 12:11
#AI #Machine Learning #LLM

大型语言模型(LLM)驱动的代理通过编辑持久化的技能文档来自我演化。该文档记录工作流、工具使用规则以及决策逻辑。演化循环包括两步:优化器生成候选编辑,接受门决定是否采纳。过去的研究主要聚焦于优化器,而接受门仍采用最简单的规则——只要编辑提升了整体验证得分就接受。我们发现该规则存在两大缺陷:

  1. 永久回归:编辑可能提升平均得分,却破坏了已有的可解项目,导致技能整体退化。
  2. 优化器诅咒:在有限且噪声的验证集上,最高观测得分往往被高估,从而误导接受门。

为了解决上述问题,本文提出 统计接受门(SAGE)。SAGE 的核心创新有两点:

实验在五个基准任务和四种主流 LLM(在等预算协议下)上进行。SAGE 在 20 组实验中有 19 组显著降低了回归率,剩余 1 组与基线持平。例如在 LiveMath 上回归率从 36.5% 降至 0%,在 OfficeQA(DeepSeek‑V4)上从 42.8% 降至 0%。同时,SAGE 在所有 20 组实验中取得最高的最终得分,LiveMath 的分数从 34.15 提升至 48.78。

点评:SAGE 通过统计配对检验有效抑制了盲目接受编辑的风险,兼顾了性能提升与安全性,是自演化代理系统中值得推广的门控机制。

原文链接: https://arxiv.org/abs/2609.36043

[h] 返回首页