摘要
数学推理已成为评估和调优大型语言模型（LLMs）推理能力的核心任务，然而现有的基准测试严重偏向高资源语言，尤其是英语和中文主导了预训练语料库和评估套件。最近发布的 PolyMath 数据集（Wang et al., 2025）虽然是一个重要的进展，但其覆盖范围仍局限于 18 种高资源语言。
为了解决这一空白，我们推出了 PluraMath，这是对 PolyMath 的扩展，涵盖 18 种额外的低资源语言，涉及 6 个语言家族，范围从中等资源到极低资源的设置。我们通过人工策划的管道构建了该数据集，母语者对预先生成的翻译进行了严格验证。
使用 PluraMath，我们对 27 种推理 LLM 在四种模型规模（小型、中型、大型和闭源集成模型）上进行了基准测试，探讨了最先进模型在多语言数学推理能力下的表现。我们的细致分析确认了高资源语言与低资源语言间在数学推理性能上的持续差距，较强的表现通常与更好的指令遵循能力相关。
我们完全开源了数据集、数据获取管道和评估框架，旨在降低低资源社区多语言基准开发的门槛。
博主点评： PluraMath 的推出为低资源语言的数学推理评估提供了重要支持，促进了语言模型的公平性与多样性。这将推动更多研究者关注被忽视的语言，助力整体AI生态的健康发展。