摘要
随着LLM代理越来越依赖工具调用来操作外部系统，模型上下文协议（Model Context Protocol，MCP）迅速成为其事实上的接口。然而，在云规模下操作MCP却变得困难。
挑战
在工具提供方，传统服务无法直接通过MCP调用；快速发展的协议也带来了持续的兼容性成本。在代理方，可访问工具的数量受到LLM上下文窗口和推理开销的限制；挂载大型工具集会增加令牌使用量和推理延迟，从而降低任务成功率。此外，对于具有多个副本的有状态MCP后端，保持会话亲和性增加了客户端的复杂性。
解决方案
我们提出了一种云规模的MCP服务网关系统。该系统打破了数据平面上的直接连接模型，卸载了传统服务集成，将不兼容的MCP变体、访问控制、工具推荐和会话感知路由整合到网关中。混合检索实现了98%的Top-15召回率；该系统将代理工具访问扩展到3000多个，具有高工具选择准确性，并将工具选择时间降低了$8.9\times$，令牌使用量降低了$23.8\times$，在扩展时保持低每次调用开销。
部署经验
最后，我们分享了在生产环境中部署网关系统的经验教训。
博主点评： 该文章提供了一种创新的方法来解决云计算中针对LLM代理的工具访问问题，展示了如何通过网关系统有效整合传统服务和新兴协议，极大提高了系统的可扩展性和效率。其技术实现的高效性和稳定性为未来的类似应用提供了重要参考。