在大语言模型（LLMs）中，整合外部工具已成为实现复杂任务的一种有前景的范式。然而，由于LLMs在有效管理大量工具集合方面仍然存在困难，研究者们开始探索基于检索的方法，以预先选择最相关的工具，从而解决输入长度和延迟的限制。现有的检索器由于训练过程的不同，往往与工具调用的LLMs不匹配。
本文提出了PORTS，一种新颖的基于赔率比的偏好优化方法，旨在训练用于工具选择的检索器。我们的方法使用来自冻结LLM的困惑度启发的偏好信号，通过优化选择概率与下游性能之间的相关性，同时强制执行文档字符串之间的对比语义损失，从而微调检索器以找到有用的工具。通过在六个数据集、两个编码器模型和三个具有不同先验知识的LLMs上进行广泛实验，展示了PORTS的多样性及其显著提高工具选择准确性的能力。我们的对齐过程计算需求低，便于对新查询和工具的泛化，证明了其在不断演变的工具集中的实际应用价值。
博主点评： PORTS方法通过优化检索器的训练过程，成功提升了工具选择的准确性。这种创新的思路为LLMs的实际应用提供了强大的支持，尤其在面临多样化工具集时，表现出良好的适应性和高效性。