摘要
数学推理基准通常提供解决每个问题所需的所有事实，而交互式基准则往往将推理与工具、检索和长时间对话混合在一起。我们引入了 MIRA-Math，这是一种针对更窄的诊断能力的基准：解决数学问题，其完整的潜在状态有唯一答案，但求解者面前缺少一个必要的原子事实。求解者必须在严格的预算下以自然语言请求缺失的信息，然后将返回的事实整合到最终答案中。
一个固定约束的 LLM 响应者仅能看到数据集中提供的原子事实，并且必须在请求匹配时提供引用的事实，否则拒绝提供。因此，实例生成、类型提示规范、验证和最终答案验证都是确定性的，而请求指标是在固定的 LLM 媒介响应者通道下测量的。
MIRA-Math 包含从 22 个类型数学家族生成的 2,310 个实例，涵盖代数、概率、线性系统、离散结构、信号处理、马尔可夫链、电路、插值和数值边界值问题等领域。实验表明，请求成功率和最终答案准确性是可分离的：模型可能会请求正确的事实，但在下游计算中失败，或者在获得标准提示之前失败。
我们发布了生成器、验证器、提示、运行元数据和数据集文档，以支持最小信息请求在数学推理中的可重复评估。
博主点评： MIRA-Math 基准的引入为数学推理提供了一种新颖的评估方式，强调了信息请求的有效性与最终推理能力之间的关系。这种方法不仅提升了数学模型的交互性，也为未来的研究奠定了基础，推动了模型在复杂推理任务中的应用。