摘要
近期在ARC-AGI-1上的进展主要来自两种模式:一种是针对前沿模型的重计算测试(包括进化搜索、全面采样和扩展的思维链);另一种是基于基准的训练,其中小型模型在ARC数据上进行微调,通常采用任务专用架构。我们研究了第三种模式:在严格预算下,使用开放权重模型(DeepSeek V3.2)进行非思考模式的实验,且不进行ARC特定的微调。
我们探讨了通过架构本身能恢复的能力,构建了代理化的架构,明确分解模式发现和程序合成的阶段。首先,我们介绍了Explorer-Definer管道,将模式发现与可执行转换合成分开,实施为一个两阶段的代理管道。接下来,我们提出了Reflective Orchestrator,它增强了管道,能够在先前假设在训练对上失败时自主探索新的转换。
在ARC-AGI-1公共400任务评估集上,该管道以每个任务$0.25的成本达到了57.50%的pass@2,而指挥器以每个任务$0.62的成本达到了67.25%的pass@2。综合这些架构使得15.50%的单次基线提升了约52个百分点,而无需基准特定训练或重测试计算。此外,指挥器驱动的提升测试了管道产生的可验证诊断;无偏的pass@k分析表明,该管道是生成受限,而非选择受限(通过训练对的准确性选择捕获了约95%的候选上限),并预测显著改善需要更广泛的生成,而非更好的排名。指挥器通过自适应重探索实现了这一预测,并证实了这一点(无偏的pass@1提升+9.81个百分点,匹配选择介导的pass@2提升)。额外的管道消融实验确认其思维工具是一个重要组成部分,移除后使得pass@2减少了5.75个百分点。
博主点评: 该研究展示了在不依赖特定训练的情况下,通过创新的架构设计实现显著性能提升的可能性,强调了生成能力的重要性,而非仅仅依赖选择机制。这为未来的研究指明了方向,尤其是在资源受限的情况下如何优化模型性能。