ARC（抽象推理语料库）被广泛用于检验神经网络能否从少量示例中推断任务特定的变换。近期的 ARC 模型在架构上各不相同，同时在预训练数据、数据增强、测试时设置以及优化预算等训练与评估协议上也存在差异，这使得仅凭架构优势得出结论变得不可靠。本文在统一的归纳协议下，系统考察了视觉启发的 VARC 与基于递归的 TRM 在不同预训练和测试时训练（TTT）预算下的表现，实验对象为 ARC‑AGI‑1。我们将五种预训练预算与四种 TTT 预算组合，对每个测试任务进行交叉实验。每种预算由任务变体数量和样本呈现总次数决定，从而形成受控的训练预算。实验结果表明，增加 TTT 的样本呈现次数能够在所有设置中提升标准的 ARC pass@2 指标。提升 TTT 的任务变体数量仅对 TRM 有持续正向作用，而 VARC 在变体较少时常表现更佳。VARC 在未进行预训练的情况下仍保持竞争力，而 TRM 对预训练的依赖更为显著。上述发现表明，预训练和 TTT 预算会显著影响 ARC 的评估结果，建议在报告时使用可比的预算进行对比。
点评