随着大语言模型(LLM)驱动的智能体快速涌现,各类协议、框架和库层出不穷,开发者在构建最前沿的 AI 解决方案时面临组合复杂度。缺乏对不同协议、框架和库协同工作的系统评估,会导致在进入 Agentic Web 生态前就遇到技能培养、治理和基础设施等挑战。\ \ 为了解决这一痛点,本文提出 MASTIF(Multi-Agent System TestIng Framework),用于统一评估多智能体系统的性能。我们基于 Mind2Web 基准的 300 条任务,对以下维度进行实验:\
- 3 种主流 LLM(如 GPT‑4、Claude、Llama 2)\
- 3 种通信协议(REST、WebSocket、gRPC)\
- 4 种智能体实现框架(LangChain、AutoGPT、CrewAI、OpenAI Function Calling)\ \ 实验结果显示,针对特定任务选择合适的技术栈可以显著提升 任务完成率、效率得分 与 社会价值稳定性,同时降低 冗长度 与 完成时间。例如,在信息检索任务中,使用 Llama 2 + gRPC + CrewAI 的组合比默认组合提升约 12% 的完成率,并将平均执行时间缩短 1.8 秒。\ \ 这些基准数据为后续的系统设计、评估与优化提供了参考,也为行业在快速演进的 Agentic Web 场景中制定标准化指标奠定了基础。\ \ 点评