学习通过探索并利用新知识实现目标是通用智能的核心能力。要理解这些能力，需要追踪学习者在交互过程中如何构建、使用和修正世界模型。
我们构建了首个记录人类在新环境中发现和使用机制过程的数据集，以 ARC-AGI-3 为测试平台。数据集包含 64 名参与者在 25 个公开游戏中的 144 条轨迹，每条轨迹同步记录了操作和思维朗读音频；另外还有 250 条大型语言模型（LLM）代理的轨迹，分别在有无约束的情况下完成相同游戏。
我们标注了机制触发与识别、动作目的、错误与恢复等信息，关联理解变化与支撑的观察和行动。分析显示，人类和 LLM 都会预判机制并使用熟悉的类比。成功的人类轨迹中出现定性表征的比例远高于成功的 LLM（50.0% 对 14.3%）。人类更倾向于在缺乏具体假设的情况下探索未知情境，而假设检验在两者中都很常见。
我们还追踪了学习者通过信念修正、重新规划和执行纠正的恢复过程。随着带有精心设计约束的 LLM 在公开 ARC-AGI-3 游戏上达到饱和性能，我们的认知分析为下一代基准提供了动机：挑战熟悉的先验、要求累积证据与抽象、测试通过子目标、实验和恢复的规划能力。
数据集已公开：https://arc3-human-think-aloud.github.io/
点评