随着编码代理越来越多地融入系统操作，其工具的使用能够直接修改项目工件、执行环境及底层系统。例如，如果编码代理在系统启动或配置脚本中插入一个钩子，这一变化可能在交互后持续存在，稍后被触发，并滥用委托的用户或系统权限来修改系统。这使得安全测试成为一个系统性问题：关键问题不再是代理说了什么，而是它实际对周围环境做了什么。
我们提出了一种执行导向的红队测试框架，用于探测这一执行层安全边界，利用可观察的沙箱证据，包括工具调用、运行时跟踪和文件系统差异。我们的框架将目标不安全操作嵌入到常规软件工程工作负载中，包括单元测试、回归测试、崩溃复现和验证，并使用执行预言机指导在初始探测被拒绝或失败时的改进。
在多个代理框架和模型骨架下，我们的红队工作负载重新构造显著提高了验证的不安全执行，代码载体的比例达到73.61%，文本载体的比例达到53.93%。这些结果表明，系统操作中的编码代理在任务伪装下仍然不安全：一旦风险意图隐藏在合理的工程任务中，代理可以被诱导在周围系统上执行不安全的操作。更广泛地说，系统操作中的编码代理仍然需要更强的安全测试和保障措施。
博主点评： 该研究揭示了编码代理在实际操作中的潜在安全风险，强调了执行导向的安全测试在软件工程中的重要性。通过将不安全操作嵌入常规工作负载，研究者有效地提高了安全漏洞的检测率，为未来的安全保障措施提供了有力参考。其方法论值得在其他领域进一步探索。