LLM 代理在企业记录系统中的评估面临无法使用真实生产数据的问题，且缺乏提供真值的替代方案。为此我们推出 Era by Eon 基准，专为使用企业工具的 LLM 代理设计。基准围绕一个完整的虚构公司构建，包含产品模拟器、公司内部数据库、基准问题以及自动生成的答案键。
公司属性由行业、规模、商业模式、应用组合和种子值决定。种子实体图为 Salesforce、Zendesk、Slack、Gong 等模拟器提供共享数据。随后，问题条件生成器依据同一实体图生成内部数据库的模式和记录，确保所有数据来源一致，形成唯一的企业资产。
每个预期答案均从最终记录计算得到，保证评分的精确性。内部数据库通过设计检查和答案键校验；实体图通过真实性评分卡和对抗检测器进行验证。对 23 家生成公司进行评估时，真实性平均分从 61.8 提升至 97.0，且未检测到合成记录。
在模拟器轨道的对比实验中，九个模型分别对同一套 33 条问题进行三轮回答。准确率在 42.4%~76.8% 之间，经过多重比较校正后，仅有 3 对 36 的差异仍具统计支持。
点评