在网络安全领域，前沿AI系统逐渐展现出在代码库检查、漏洞检测和利用等任务中的能力。然而，评估其攻击能力的工作受到开放、可复现的多主机网络环境的限制。现有的公共基准往往仅捕捉孤立技能，例如CTF解题、漏洞复现和利用生成，却忽视了现实的入侵工作流程：发现暴露的服务、取得立足点、收集内部信息以及在主机间扩大妥协。这一缺口使得我们难以早期观察到新兴风险，因为前沿AI系统很少在真实攻击条件下进行评估。
为此，我们引入了AgentCyberRange，这是第一个开放的多范围基础设施，用于在真实网络环境中测量自主网络攻击能力。该基准结合了来自15个真实网络应用的110个漏洞和8个类似企业的网络环境，包含156个内部主机，并配备了Cage工具链用于执行、编排、结果收集和验证。
基准覆盖两个核心阶段：网络利用阶段，代理探索暴露的应用并验证漏洞；以及后期利用阶段，代理将初始立足点转化为更广泛的内部妥协。我们在匹配的提示和预算下评估了六个前沿AI系统。GPT-5.5与Codex组合表现最佳，解决了16.1%的网络利用任务和31.7%的后期利用任务；在更具体的提示下，这些比例分别提高至33.0%和46.3%。此外，我们还发现了一些未在基准中列出的发现，包括流行项目中的未知漏洞，以及能够绕过主机防御的有效载荷变异。这些结果表明，开放的网络环境评估对于在现实且可复现的条件下观察新兴的攻击能力是必要的。
博主点评： AgentCyberRange的推出为前沿AI系统在网络安全领域的评估提供了全新的视角，强调了在真实环境中进行测试的重要性，未来这一工具可能会加速网络安全技术的进步与应用。对于AI在网络攻击中的潜力，值得持续关注与深入研究。