大型语言模型正被广泛用于调用工具的代理，但安全评估仍主要关注它们在纯文本对话中的拒绝能力。我们提出一个包含2304条提示的基准，覆盖四个领域，每条提示形成文本仅、标准工具启用和对抗性工具启用三种匹配形式，分别对应有害或良性请求。随后使用20条预定义的禁用操作，对五种不同规模和系列的模型进行工具调用安全性测试。结果显示，许多在文本对话中被拒绝的有害请求在工具启用情境下仍会触发不安全的工具调用，标准提示下该比例在10%到52%之间。为探究机制，我们在每个模型的残差流中识别出与拒绝相关的方向，发现四个模型在工具启用时该方向的激活度下降，且激活度降低能够预测不安全调用（AUC 0.76‑0.86）。通过激活修补将该信号恢复到文本仅情境的水平，仅能阻止部分不安全调用，主要是通过抑制工具使用而非生成更安全的调用。进一步沿拒绝方向进行干预可以几乎消除不安全调用，但同样会抑制良性工具使用或降低输出质量。综上，拒绝方向对模型是否采取行动有贡献，但并不能完全解释文本与工具使用之间的安全差异。因此，评估工具调用代理的安全性必须同时检查其实际行为和文本响应。
点评