摘要
大型语言模型（LLMs）越来越多地作为集成数据科学代理，结合抽象推理与高级工具使用。然而，现有的基准测试大多将符号因果推理基准与缺乏真实数据分析的基准分开，或是将数据分析基准与缺乏原则性因果数据生成结构的基准分开。此外，现有的因果评估数据集通常仅限于来自现有来源的精选示例，其多样性来自于有限的模板变体，而非系统生成的新合成因果结构。
我们引入了 CausalDS，这是一个用于评估代理数据科学工作流中因果推理的基准。每个基准实例都是一个场景，由一个采样的结构因果模型（SCM）和生成的观察数据组成，并附有一个基于现实领域的合成自然语言故事。我们可选地将基准组件的组成基础于从真实世界数据集中获得的经验分布，从而在保留经验结构的同时，通过完全合成的生成减少“因果鹦鹉”的风险。
从每个场景中，我们推导出涵盖 Pearl 三个层次的任务，典型的数据科学预测任务出现在第一层。大多数任务包括数据科学编码组件，其中模型通常需要使用多个工具来得出最终答案，因为经常存在由观察模型生成的不完善观察数据。此外，识别一个问题是否有合理的答案并选择放弃，也被视为一个重要的得分结果。因此，该基准共同评估了符号因果推理、数据科学、不确定性量化、放弃以及工具使用/编码等多个方面。
博主点评： CausalDS 的提出为数据科学与因果推理的结合提供了新的基准，强调了现实世界数据与合成数据的结合使用。这种方法不仅提升了模型评估的全面性，还有效地应对了因果推理中的常见挑战，尤其是在不完美观察情况下的推理能力。未来，这可能会推动更智能的数据科学代理的发展。