本文介绍了在一家大型住宿平台上,将客服助理从单一的 Qwen3-235B-A22B 混合模型迁移到 Dynamic Response (DR) 架构的全过程。原系统在一次对话路径中同时完成检索、动作选择、升级和语言生成,而新系统将这些职责拆分:
- 使用 ReAct 编排器调度类型化工具(如预定义的预订选择器、升级检查器等),
- 使用体积更小的生成模型,仅在后端验证的上下文合约中撰写回复。
迁移过程中同时更改了提示词、对齐方式和服务部署。为量化每项改动的贡献,作者在相同的回放数据上测量了架构层面的效果。关键结果包括:
- 类型化实体选择将预订选择器的 precision 从 8.3% 提升至 89.1%,recall 从 75.2% 降至 67.3%;
- 类型化动作 ID 加入成员检查,结构化动作的幻觉率从 2.14% 降至 0%。
在低强度 A/B 测试中,硬升级响应比例从 5.60% 降至 3.08%,软升级从 9.56% 降至 2.49%,而整体交接量基本持平;自助解决率呈上升趋势,提升约 5.1 个百分点(95% CI [-2, +12])。
服务端优化将编排器的 P90 延迟从 3.87 s 降至 2.24 s,GPU 使用量约缩减三分之一;自托管模式使年度模型服务成本降低超过一个数量级。
点评