数学推理是大语言模型在教育场景中的核心能力,可靠的求解不仅要求答案正确,还需要推理过程连贯且可验证。多智能体系统通过让多个 LLM 互相协作与校验,展示出在该领域的潜力。但现有评测大多只看最终答案的对错,缺乏对多模态推理能力、推理步骤可靠性以及对错误的鲁棒性评估。为此我们推出 MAMath-Bench,一个面向过程的基准,用于衡量多模态多智能体数学推理。数据集包含 1,003 道题,覆盖 11 类数学主题,难度层次多样,涉及文本、图片和音频等模态。每题配有细粒度的里程碑标注,可在正确性、推理过程可靠性和对抗性链路扰动鲁棒性三维度上进行评估。实验得到三点主要结论:① 多智能体协作并未在所有情况下超越强单一 LLM 的答案准确率;② 协作显著提升了中间推理的覆盖范围,但可能伴随推理冗余增加;③ 当前系统仍易受对抗性推理错误影响,尤其是细微结构扰动。数据集已开源,地址:https://github.com/mira-ai-lab/AgentMath。
点评