ARCANA（Abstraction and Reasoning Corpus of ANAlogy）是一套专门用于评估远程类比推理能力的基准。远程类比指在表面上看似不相关的领域之间发现深层次的关系或结构相似性。ARCANA 的任务要求将真实世界的物体或物理现象映射到抽象的网格变换上，这与强调先天人类先验知识的 ARC‑AGI 基准形成对比。
我们通过人类实验验证了 ARCANA 的可解性，结果显示受试者能够稳定完成这些任务。相反，对多种大型语言模型（LLM）的评估揭示出显著的人机性能差距，模型在多个任务上出现系统性失效，表明当前模型仍难以实现深层类比推理。
为缩小这一差距，本文提出了 ConceptSIR 框架，其核心包括概念滑移（concept slippage）、自省（introspection）和反思（reflection）。在实验中，ConceptSIR 通过对标准 LLM 进行结构化的思考引导，使其成功解决了若干直接提示无法完成的 ARCANA 任务。
整体结果表明，远程类比推理仍是当代 LLM 的未解难题。所有材料可在 sites.google.com/view/arcanacogtest 获取，代码与基准数据已公开发布于 GitHub。
点评