NeFut Logo NeFut
EN 管理员登录

[AI学术] 三位一体:面向多模态代理的能力驱动递归自我提升框架

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#algorithm #AI #Machine Learning

多模态智能可以视为人类引导的世界与代理之间的协同进化。随着任务种类和复杂度的增长,构建异构且可验证的环境成本高昂,手工迭代的 Harness 难以跟上。关键观察是,不同模态和表面形式的任务往往共享相同的底层能力需求。\ \ 为此我们提出 The Trinity,一个递归自我提升框架,通过 Creator、Explorer、Evolver 三个角色耦合世界生成与 Harness 演化。Evolver 基于已验证的执行轨迹,将任务组织从表面类别转向共享需求,重新构建为层次化的能力树。\ \ 在同一能力节点上的异构任务,Creator 抽象出其共同需求,生成简化且可验证的模拟世界用于能力学习,随后在原始任务上评估迁移效果,这一过程称为 Capability‑Driven Real2Sim2Real。\ \ 沿着能力树,Explorer 通过选择性继承不断演化可复用的能力模块,形成一个 Harness 树。每一次迭代的验证更新都会在固定拓扑内累计,使得不同分支专注于不同能力。为在新任务中快速匹配合适模块,我们设计了 Capability‑Aware Harness Router,利用公开的任务信息从树中挑选兼容的模块配置。\ \ 实验表明,经过多轮自我提升后,生成的 Harness 在 28 项训练基准上平均提升 34 分,在 18 项未见基准上提升 26 分,并成功迁移到两个真实世界的具身任务。\ \ 点评

原文链接: https://arxiv.org/abs/2610.36077

[h] 返回首页