NeFut Logo NeFut
EN 管理员登录

[AI学术] Meta-Reflective Evolution 有效提升生产 AI 系统

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#AI #optimization #LLM

大型语言模型(LLM)驱动的进化优化已经在提示、程序乃至完整 AI 系统上取得显著提升。传统方法往往只从搜索前沿挑选候选,然后在一次 LLM 调用中仅依据其失败进行突变,这在生产 AI 系统中容易陷入停滞,因为孤立的错误难以揭示隐藏的复杂交互。我们提出 CoCoEvolve(Cortex Code Evolve),一种围绕元反思(meta‑reflection)构建的进化优化器。元反思让具备代理能力的突变器 Cortex Code 能够从整个进化历史中有选择地检索证据,在对实时系统进行探测后再进行验证并提出突变。

CoCoEvolve 被用于优化三类生产 AI 系统:数据代理、LLM 驱动的数据流水线以及数据工程工作流。在 DABStep 基准上,CoCoEvolve 以 92.8% 的保留集硬准确率领跑公开排行榜,显著高于同等条件下的 Meta‑Harness(78.4%)和 GEPA(30.4%)。在六个 LLM 数据流水线任务中,它全面超越所有基线。data‑eng‑bench 上的测试集求解率从 59.1% 提升至 77.4%,超过最佳基线的 73.6%。在 HotpotQA 上,CoCoEvolve 的准确率比 GEPA 高出 11 个百分点,同时在已有的数学与系统基准上保持与专用优化器的竞争力。匹配的消融实验表明,CoCoEvolve 的每个组件均对性能提升有贡献,验证了元反思在生产 AI 系统优化中的价值。

点评

原文链接: https://arxiv.org/abs/2610.12794

[h] 返回首页