NeFut Logo NeFut
EN 管理员登录

[AI学术] GatewayBench:MCP网关统一能力与安全评估平台

发布于:2026-10-20 22:00 最后更新:2026-10-22 01:04
#AI #Machine Learning #LLM

AI 代理通过调用工具与外部环境交互,Model Context Protocol(MCP)已成为连接代理与异构工具的标准接口。随着组织大规模部署代理,MCP 网关作为聚合、治理和塑造工具表面的中间层变得至关重要。现有研究尚未系统评估网关设计对代理能力、效率和安全性的影响。为填补空白,本文提出 GatewayBench——首个统一的 MCP 网关评估框架和基准。我们将网关架构划分为扁平化和层级化两大范式。Benchmark 包含 524 项任务,覆盖六个领域,并提供来自 251 个真实 MCP 服务器的 11 118 个工具。为模拟大规模部署,我们从工具池中抽取与任务无关的工具注入每个代理环境,实现可控的工具表面规模扩展。基于 GatewayBench,我们在七种主流 MCP 网关和多种代理配置上进行大量实验,涵盖正常任务和对抗任务。实验表明,不同网关设计在任务完成率、工具使用效率和抗攻击能力上存在显著差异,且这些差异与底层模型和代理实现强相关。研究凸显了 MCP 网关在代理 AI 堆栈中的重要但未被充分探索的角色。GatewayBench 为在真实工具生态下对网关架构进行受控评估提供了实践指南和严格测试平台,助力构建更强大、高效和安全的代理系统。

点评

原文链接: https://arxiv.org/abs/2610.23449

[h] 返回首页