自进化训练通过可验证反馈提升代理在难任务上的表现,但往往在所有任务上统一使用高成本推理。为此我们提出 Mode-Optimized Reasoning with Self-Adaptive Effort(MORE),一种自进化训练框架,能够为每个任务自适应选择推理形式和计算算力。MORE 采用两阶段范式。
Stage 1 在直接回答、短链式思考、长链式思考和代码推理之间建立紧凑的先验分布。
Stage 2 在生成的可验证任务流上使用 Mode‑Adaptive and Test‑time Effort PPO(MATE‑PPO)自行进化该先验,无需人工标注数据。通过联合学习模式选择和 token 开支,MORE 在可简化推理的任务上使用简短推理,在需要深入思考的任务上保留长链或代码推理。
在编码、数学和通用推理基准上,MORE 在 3B‑14B 规模的 Base 与 Coder 主干模型上均实现了稳定提升。推理阶段表现出更高的准确率和更佳的效率,响应长度显著缩短,推理时间明显降低。
点评