NeFut Logo NeFut
EN 管理员登录

[AI学术] 大规模 ConceptARC:推理模型的概念理解研究

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#algorithm #AI #Machine Learning

大型推理模型(LRM)在挑战性基准上表现优异,但它们是否能够在概念上相关的推理任务之间形成可迁移的抽象仍不明确。Abstraction and Reasoning Corpus(ARC)提供了一个受控测试平台,要求求解器从少量示例中推断二维网格的变换规则。ARC 评估单个任务内部的规则抽象,而不同任务可能共享更高层次的结构,例如多个任务都涉及对象之间的包含关系。ConceptARC 通过将 ARC 风格任务按空间和语义概念进行分组来捕捉这种结构,但每个概念下的任务数量通常很少,且多为手工构造。\n\n我们提出 ConceptARC at Scale,一个能够针对特定概念生成成千上万 ARC 风格任务的生成器。基于该生成器,我们构建了 ConceptARC-100 数据集,包含 1,600 条经人工审查的新任务,每个概念 100 条,共 16 种概念,规模是原基准的十倍。\n\n我们对多种最新的 LRM 以及从零训练的模型在 ConceptARC-100 上进行评估,分析它们在不同概念上的可靠性与薄弱环节。进一步的内部表征分析显示,模型的任务表示呈现明显的语义结构:即使具体规则和情境差异很大,表示仍会根据对对象的操作(如重新着色、删除、平移)进行聚类。\n\n这些结果表明,模型能够形成对变换操作的稳定抽象,并在多样任务之间实现泛化。\n\n点评:本研究提供了大规模、系统化的概念评估平台,证实了 LRM 在高层语义抽象上的潜力,也揭示了当前模型在某些概念上的局限,为后续的抽象推理模型设计指明了方向。

原文链接: https://arxiv.org/abs/2611.06732

[h] 返回首页