在构建智能系统的过程中，一个核心挑战是使代理能够共同感知复杂输入，形成关于隐藏模式的假设，并设计信息丰富的实验来验证这些假设。
为研究这一问题，我们提出了ZendoWorld，这是一个受控的互动环境，代理必须推断关于视觉游戏观察的逻辑规则，通过提出新场景获取信息，并根据游戏环境的反馈完善他们的假设。
我们评估了几种代理，包括纯VLM推理、贝叶斯粒子滤波、动态概念发现和神经符号方法。我们的主要发现包括：
- 在观察示例中高准确度的标签预测并不意味着能够恢复潜在的规则；
- 感知和归纳是不同代理类别的独立瓶颈；
- 基于VLM的代理提出的实验几乎没有信息量，未能有效减少假设的不确定性。
为了比较这些结果，我们收集了人类在该任务上的数据，发现归纳推理存在差距，尤其是在更复杂规则的情况下。
总体而言，ZendoWorld在评估智能代理方面迈出了重要一步，并识别出具体的改进方向，特别是在科学发现等领域。
博主点评： ZendoWorld的研究揭示了当前AI在复杂视觉推理中的不足，尤其是VLM代理在主动实验设计中的低效。这一发现对未来AI系统的设计与改进具有重要启示，尤其是在科学探索等需要高层次推理的应用中。