摘要
工具增强的大型语言模型通过外部工具扩展其能力，但往往会不必要地调用这些工具。我们研究了工具使用决策是否存在可以提取和操控的稳定内部表征，这一问题并不简单，因为工具在推理时完全依赖上下文，并且在模型权重中没有直接编码。
我们展示了从标题锚点位置提取的引导向量对五个开源模型和三个领域的工具调用行为施加了双向因果控制，最有效地抑制了在参数推理足够的领域中多余的工具使用。
然而，几何分析显示，这种因果有效性并不对应于干净的线性结构：工具调用步骤与抑制向量之间表现出弥散的双峰对齐，而不是线性编码模型所预测的一致负对齐，并且不同类型的工具在内部特征上几乎没有交叠。
我们假设这些几何特性表明工具的非参数特性，并将工具使用引导向量与参数化概念提取的向量区分开来。几何不规则性与观察到的因果有效性之间的关系仍然是一个未解之谜。
博主点评： 本文揭示了工具使用的复杂性，尤其是在大型语言模型中。通过对引导向量的深入分析，作者不仅展示了工具调用的内在机制，还提出了新的几何视角，这为未来的研究提供了丰富的启示。理解这些特性将有助于优化工具的使用策略，从而提高模型的有效性和效率。