在传统的代理红队评估中，攻击成功率通常以一个二元值来表示：攻击成功或失败。然而，这种单一的成功率忽略了防御者最需要的信息，即所造成的实际伤害程度。
为此，本文提出了一种行动分级伤害评估标准，该标准根据执行的工具调用轨迹，将代理行为按七个级别（L0至L6）进行评分。评分依据包括：执行的操作是否可逆、是否跨越范围影响其他方、以及是否扩展了权限。
我们采用两种方式来计算这一标准：一种是确定性神谕，直接读取轨迹和攻击者的目标；另一种是由三位前沿语言模型评审组成的面板，读取同一轨迹的无标签叙述。
在AgentDojo工作区的四个受害者模型和两种防御措施中，严重性评分揭示了三个二元指标隐含的案例，包括一个报告零攻击成功率的防御，尽管仍允许通过未过滤工具出现外部可见的跨范围泄露。
评审小组在序数一致性上与神谕高度一致（Krippendorff's alpha = 0.91），但存在系统性的盲点，尤其是未能识别升级链。
与以往提供伤害分类、危害任务完成测试、执行级安全基准或严重性感知模拟的工作不同，我们的贡献是一个可重用的、基于轨迹的严重性工具，应用于现有红队日志中记录的实际行为。所有代码、提示及每个回合的日志均已公开。
博主点评： 本文通过引入行动分级标准，极大地丰富了对AI代理攻击效果的评估方式，强调了攻击行为的复杂性及其潜在后果，为未来的安全防护提供了更为细致的参考框架。