NeFut Logo NeFut
EN 管理员登录

[AI学术] 模式优化推理与自适应算力的自进化代理

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #LLM

自进化训练通过可验证反馈提升代理在难任务上的表现,但往往在所有任务上统一使用高成本推理。为此我们提出 Mode-Optimized Reasoning with Self-Adaptive Effort(MORE),一种自进化训练框架,能够为每个任务自适应选择推理形式和计算算力。MORE 采用两阶段范式。

Stage 1 在直接回答、短链式思考、长链式思考和代码推理之间建立紧凑的先验分布。

Stage 2 在生成的可验证任务流上使用 Mode‑Adaptive and Test‑time Effort PPO(MATE‑PPO)自行进化该先验,无需人工标注数据。通过联合学习模式选择和 token 开支,MORE 在可简化推理的任务上使用简短推理,在需要深入思考的任务上保留长链或代码推理。

在编码、数学和通用推理基准上,MORE 在 3B‑14B 规模的 Base 与 Coder 主干模型上均实现了稳定提升。推理阶段表现出更高的准确率和更佳的效率,响应长度显著缩短,推理时间明显降低。

点评

原文链接: https://arxiv.org/abs/2610.33684

[h] 返回首页