摘要
大型语言模型代理驱动的安全工具套件在模型上下文协议下日益普遍。然而，限制其能力的因素仍然不够明确：模型与驱动它的客户端之间的关系如何？限制代理使用编排者自身工具是否有效？能力的限制是否源于推理而非缺少工具？
我们使用 HexStrikeAI 作为测试平台，这是一个开源编排工具，提供超过 150 种工具。我们采用一种评估系统的方法，诊断其失败并实施针对性改进。在三个工具访问模式和三种模型/客户端配置下，我们运行了 86 个 picoCTF 挑战，涵盖七个类别和三个难度等级，共进行了 774 次实验。
通过对现有工具的修正、代理行为的改变以及新增的 11 种能力工具，我们重新审视了之前未成功的实验。诊断结果表明，驱动客户端是固定模型的第一顺位因素（两个 DeepSeek 客户端之间存在 2.1 的差距），并且存在单调的难度梯度，其中中等难度的提升幅度最大。整体解题率从 55.4% 上升至 72.0%，每种配置均有显著改善（配对 McNemar p < 0.001）。
博主点评： 这项研究深入探讨了大型语言模型在安全工具编排中的表现，揭示了客户端在模型能力中的重要性。通过系统性改进，显著提升了模型的解题能力，为未来的安全应用提供了宝贵的参考。