摘要
组合泛化，即理解和生成已知组件的新组合的能力，依然是现代人工智能面临的基本挑战。虽然现有的基准测试不多，但许多集中在语言任务上，缺乏复杂、明确的组合结构。
我们引入了 ClassicLogic，一个全新的基准套件，旨在评估代理学习和组合问题解决策略的能力。该基准由四个经典逻辑难题组成：数独、KenKen、Kakuro 和 Futoshiki。其核心创新在于为每个游戏构建一个分层的、明确的知识库，复杂的解决策略被正式定义为更简单、基础策略的组合。
这种结构允许对代理的推理能力进行细致评估，从学习基本规则到应用多步骤组合策略，解决越来越高难度、经过数学验证的难题。此开放源代码基准为推进神经符号及其他高级人工智能推理系统提供了一个具有挑战性的全新测试平台。
博主点评： ClassicLogic基准的推出，正是针对当前AI在组合泛化能力上不足的有力回应。通过明确的知识结构，它不仅为AI的推理能力提供了评估工具，同时也为未来的研究指明了方向，尤其是在神经符号系统的应用上。