NeFut Logo NeFut
EN 管理员登录

[AI学术] 规则、轨迹与路由统计:在 ARC-AGI-2 上的开放模型训练与校准数据

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#AI #LLM #Open Source

我们评估了三种开源模型在 ARC-AGI-2 任务上的离线训练与校准效果,计算资源限制为四块 L4 GPU,最长 12 小时。实验共 189 次,覆盖 120 条隐藏半私有任务,并在公开任务上进行离线对比。\ \ 对 NVARC Qwen3-4B 网格模型,我们构建了 12,000 条可执行规则的类型化语言语料和 95,993 条任务。规则仅在其在固定探针集上的行为与所有已接受规则不同的情况下被录入,任务仅在其配对能够否定最近竞争规则并击败 12 种捷径求解器时被录入。随后在 1,920 条真实任务记录上继续微调,并采用四 GPU 调度优化,半私有得分从 28.96(发布模型均值)提升至 33.06(五次运行均值),最高 34.86。即使使用全部 95,993 条合成任务的检查点也未能超越真实任务模型。\ \ 对 Qwen3.8-27B 推理模型,我们在 1,036 条自身推理轨迹(含正确最终答案)上微调,并比较加入其他模型轨迹或合成任务的效果。结合模型内部的推理流程(思考帽、每次回答后在演示上检查的 Python 程序、对每个输入的长首次尝试),得分从 26.81 上升至 44.03,超过 ARC 奖基金会在无限时限下对基线模型测得的 42.36,提升主要来源于推理流程本身。\ \ 对 Qwen3.8-Flash-Next MoE(125B 参数,激活 6B),GPU 内存限制了并发度。我们将每层专家数从 512 剪枝至 384,依据路由权重激活显著性进行筛选,使键值缓存从 0.55M 扩展至 1.39M token。进一步使用 296 条专家列表并结合 ARC 路由统计,仅保留对程序 token 有贡献的专家,加上 FP8 索引缓存,缓存规模达到 1.96M。配合程序检查工具,模型得分 56.67,创下本次实验最高记录。\ \ 点评:实验表明,真实任务数据的微调仍是提升模型在 ARC-AGI-2 上表现的关键,合成规则或轨迹虽能提供规模,但单独使用难以超越真实数据。推理流程的工程化改进(如思考帽和答案后检查)对得分提升贡献显著,尤其在大模型上效果更为突出。模型剪枝与路由统计的结合能够在受限硬件下显著提升缓存利用率,从而实现更高的任务成功率。

原文链接: https://arxiv.org/abs/2611.06827

[h] 返回首页