本文介绍了工具效率这一新量化指标，用于评估LLM代理轨迹中有效工具调用的比例。为了确保工具效率的明确性，我们同时引入了边际工具效用这一新量化指标，该指标针对每次工具调用，指示该工具是否有用，或是否可以安全地从工具套件中移除而不影响准确性，同时提升工具效率。我们使用LLM作为评判者，确定每次工具调用在轨迹中的边际工具效用的符号。
虽然之前的研究已经开展了许多技术，以提高LLM的工具使用效率，并通过准确性作为代理间接评估效率，但我们的工作则集中在通过本文提出的量化指标直接测量效率，这一过程发生在后期轨迹分析中。
我们希望这项工作能为LLM评估研究的前沿做出贡献，为未来基准设计和代理工程（特别是在创建精简工具套件方面）提供跳板，这些设计优化为与准确性互补但又不同的指标。
博主点评： 本文提出的工具效率和边际工具效用的概念，为LLM的性能评估提供了新的视角，强调了工具选择对效率的直接影响，未来在LLM的应用中值得关注与深入探索。通过量化工具的实际效用，研究者能够更好地设计高效的工具套件，提升LLM的整体性能。