大型语言模型代理通过模型上下文协议(MCP)在运行时发现并调用跨服务器的工具。现有的 MCP 基准主要衡量任务完成度,诊断失败时往往在执行后进行,而未在任务构造时嵌入推理、执行和记忆失误的风险。我们提出 MCPHallu,针对 MCP 环境中的幻觉易发失败进行三维诊断:推理、执行和记忆。MCPHallu 包含 358 个任务,覆盖五个能力域,在 36 台生产 MCP 服务器的隔离容器中运行。每个任务都设计了结构化触发器,使四种子类型之一成为主要风险:分支崩溃(Branch Collapse)、不可达目标(Unreachable Goal)、工具误用(Tool Misuse)和上下文遗忘(Context Forgetting),从而支持子类型层面的分析而非仅看整体成功率。我们在 5,012 条轨迹上评估了来自八家供应商的十四个前沿 LLM 代理。当前 MCP 代理在幻觉诱导的工具环境中仍然脆弱,平均得分为 0.642($[0,1]$,分数越高越好)。失败主要集中在不可达目标任务,平均得分降至 0.458,只有 23.2% 的运行通过,表明代理常继续发起工具调用或声称成功完成,而未识别目标不可实现。子类型排名差异显著:模型在不同子类型间的排名平均变化 6.9(共 13 位),且分支崩溃与不可达目标之间几乎不相关($r = -0.12$)。MCPHallu 已在 https://github.com/J1zz/mcp_hallu 开源发布。
点评:MCPHallu 通过结构化任务触发器将幻觉风险细化为可测的子类型,为评估和改进 MCP 代理提供了更精细的诊断工具,揭示了当前模型在识别不可实现目标方面的显著短板,指明了未来研究的关键方向。