NeFut Logo NeFut
EN 管理员登录

[AI学术] MAMath-Bench:面向过程的多模态多智能体数学推理评估

发布于:2026-10-21 22:00 最后更新:2026-10-22 01:04
#AI #Machine Learning #LLM

数学推理是大语言模型在教育场景中的核心能力,可靠的求解不仅要求答案正确,还需要推理过程连贯且可验证。多智能体系统通过让多个 LLM 互相协作与校验,展示出在该领域的潜力。但现有评测大多只看最终答案的对错,缺乏对多模态推理能力、推理步骤可靠性以及对错误的鲁棒性评估。为此我们推出 MAMath-Bench,一个面向过程的基准,用于衡量多模态多智能体数学推理。数据集包含 1,003 道题,覆盖 11 类数学主题,难度层次多样,涉及文本、图片和音频等模态。每题配有细粒度的里程碑标注,可在正确性、推理过程可靠性和对抗性链路扰动鲁棒性三维度上进行评估。实验得到三点主要结论:① 多智能体协作并未在所有情况下超越强单一 LLM 的答案准确率;② 协作显著提升了中间推理的覆盖范围,但可能伴随推理冗余增加;③ 当前系统仍易受对抗性推理错误影响,尤其是细微结构扰动。数据集已开源,地址:https://github.com/mira-ai-lab/AgentMath。

点评

原文链接: https://arxiv.org/abs/2610.26943

[h] 返回首页