为了让 AI 助手超越单纯的聊天界面，能够在 Gmail、Venmo、Slack 等实际应用中可靠地帮助用户，必须提升它们的工具使用能力。现有的工具使用基准要么依赖人工监督，难以规模化；要么过于领域特定，缺乏通用性。为了解决这些瓶颈，我们提出 TURTLE（Tool Use Related Tasks with Long‑Horizon Evolution），这是一种无监督环境设计（UED）方法，利用提议者、求解者和反馈生成器三个大语言模型（LLM）代理共同演化任务。提议者根据求解者的实际表现获得奖励，奖励机制鼓励生成既困难又可解的任务；反馈生成器对求解者的执行轨迹进行摘要，为提议者提供可利用的信息。TURTLE 能够生成自调节的测试套件，适配不同环境需求，包括用户模拟、密集文档检索以及跨多应用的交互。实验在 AppWorld、$\tau$‑Bench 和 AutomationBench 上使用 Gemma 4 31B‑it 进行评估，结果显示：
- 进化后的任务在难度分布上更符合目标区间，例如 AppWorld 上硬任务比例提升了 165%。
- 任务多样性显著提升，体现在推理路径和同时使用多个工具的交互上。
- 相比原始基准，产生了更广泛的失败模式，帮助揭示模型的薄弱环节。
这些发现表明，TURTLE 能够在保持任务可解性的前提下，自动生成更具挑战性和多样性的长时程工具使用基准，为下一代 AI 助手的评估提供了可扩展的解决方案。
点评