NeFut Logo NeFut
EN 管理员登录

[AI学术] StoreBench:用于评估和训练自主运营代理的实时电商环境

发布于:2026-10-09 22:00 最后更新:2026-10-12 00:49
#AI #Machine Learning #LLM

强化学习环境已成为提升大语言模型(LLM)后训练能力的关键手段,但大多数代理基准仍然是静态的:世界仅在代理行动时前进,奖励是终局判定,合格线随意设定。我们提出 StoreBench,这是一套实时电商环境,代理在生产级的服装电商后台运营一家中型线上店铺,以检验在不确定性下的长时程规划和经济判断。客户全天候下单,供应商会调价或失效,市场冲击可能提前或毫无预警。代理只能使用与人类运营者相同的 29 种商家工具,并受限于窗口化的操作预算,使得模拟时间成为所采取动作的函数,模型延迟不影响时间流逝。合格阈值依据脚本化的锚策略校准,奖励机制防御一系列奖励攻击,且在给定动作序列时每个回合都可完全复现。我们在 11 种 30‑45 天的场景和完整一年模拟上,对七个前沿 LLM 进行评估,使用三组世界种子并匹配推理成本。没有模型在平均表现上超越脚本化的智能分流策略:表现最佳的 DeepSeek‑V4‑Pro 仅通过 49% 的任务‑种子组合,而该策略达 97%。在人类专家使用相同工具和预算的实验中,综合得分 0.708 超过所有模型的 0.700。使用 Claude Code 框架进行完整一年模拟时,大多数模型表现出显著提升。一次基于 GRPO 的后训练实验表明,仅在五个不相交任务上微调的 Qwen3.5‑27B 将持出评估任务的平均综合得分从 0.136 提升至 0.373。我们公开了五个示例训练任务、十条示例轨迹以及评分与验证工具;完整环境和评估套件因防止基准污染而未公开。

点评

原文链接: https://arxiv.org/abs/2610.10942

[h] 返回首页