我们推出 SmartSalesBench，首个专为评估大语言模型（LLM）销售代理而设计的多轮对话基准。不同于传统任务导向对话数据集假设用户合作并仅关注任务完成，SmartSalesBench 将代理置于主动抗拒、持续质疑的买家角色前，最长可达二十轮交互。基准包含五种代理配置、十二种抗拒买家画像、十五款覆盖六个价位的智能手机，并通过四组受控实验、三次迭代共计 13,680 场对话进行评测。代理和买家均采用检索增强生成（RAG）以确保生成内容的真实性和一致性。我们提出九项评估指标，分为三层：核心结果指标 CR、BRS、RIR；质量辅助指标 SMS、PFS、ETI；以及面向未来的探索性指标 ITS、ARI、SPI。评估方式结合 LLM‑as‑judge 自动打分和人工评审（样本数 50，κ=0.71，Pearson r=0.81 与 BRS 高度相关）。
点评