在当今快速发展的语言代理（LLM代理）领域，越来越多的代理被部署在生产环境中，这凸显了对严格且现实的评估的迫切需求。然而，大多数现有的基准测试在简化的理想化环境中进行评估，通常依赖于预包装的工具接口，忽略关键步骤，并假设输入是干净且完全指定的。这导致它们低估了现实部署中的困难，因为不确定性和噪声无处不在，代理必须主动探索环境以发现新工具。
为了解决这一问题，我们提出了AgentGym2，这是一个新的评估框架，其任务实例基于真实世界的端到端工作需求。除了推理和规划外，它还衡量代理执行端到端程序的能力、通过探索发现工具的能力、为未见任务组合工具的能力，以及在噪声和不完全信息下保持鲁棒性的能力。
在15个专有和开源模型上的实验表明，即使是像Gemini和GPT-5这样的最先进系统在AgentGym2上也面临挑战，揭示了当前代理能力与现实世界应用需求之间的显著差距。
博主点评： AgentGym2的提出是对当前LLM代理评估方法的重要补充，尤其在真实环境下的应用需求方面。它不仅关注代理的推理与规划能力，还强调了在不确定性环境中自主探索和工具组合的能力，这为未来的研究提供了新的方向和挑战。