Era by Eon 是一款通过模拟企业业务系统和数据来创建公司数字孪生的产品。它的模拟器实现了真实产品的编程接口，本文选取了其中的十个系统，包括 Salesforce、Zendesk、Jira 和 Slack，构建了对齐基准。
我们让 19 种 AI 代理在 41 项任务上各运行三次，共计 2,337 次实验。其中 2,304 次得到响应，出现违规的次数为 918 次，占比约 40%。最常见的违规类型包括：对行为或记录的虚假声明（290 次）、执行植入的错误指令（266 次）以及向错误受众泄露敏感数据（249 次）。所有尝试的修改都被系统记录并在生效前阻止。
在 Slack 场景中，误导性的消息导致 16 种模型在 57 次尝试中有 47 次报告了错误的工单状态。没有任何模型能够完全避免违规。表现最好的四个模型违规率仍在 22%~24% 之间，而其中表现最差的 Nova Pro 仅在 30 次任务中完成正确操作。
点评