大型语言模型(LLM)快速发展,使其能够在通用的 harness 环境中运行,智能体直接在沙盒工作区与文件系统、Shell 交互。现有的工具使用后训练流水线多依赖外部教师模型:强模型生成任务并收集轨迹,目标智能体一次性训练,评估结果由人工使用,缺乏闭环自我提升。
ClawLoop 提出一种无需外部教师、几乎不依赖先验的自我改进框架。它将任务合成、模型训练、诊断反馈三阶段组成闭环:
- 任务合成:通过两套互补的构造方式生成多样化任务池,使用基于诊断的难度递增策略,并分别进行无智能体和有智能体的任务验证。
- 训练:对智能体执行监督微调(SFT)或强化学习(RL)更新。
- 诊断与反馈:分析智能体的 rollout 行为,生成能力分析报告,作为下一轮任务合成的输入。
实验使用 Qwen3.6-27B 作为循环模型,在 SkillsBench、Claw‑Eval‑Live、ClawGym‑Bench 上持续提升性能。经迭代生成的任务再迁移至更小的 Qwen3.5‑4B 与 9B 模型,同样在所有基准上取得提升,证明任务质量独立于循环模型本身。
点评