工具型 LLM 智能体在电商场景中常通过多轮工具调用完成查询。工具调用的预期返回值在开发与运行时可能不一致,导致返回一个看似合理却错误的值,却没有显式的失败信号。这类静默错误会在后续决策中被传播,最终影响答案的正确性。
为衡量智能体在整个流程中的韧性,我们提出了 Silent‑error Resilience Task。任务要求在中间状态被静默错误破坏后,智能体仍需完成原始查询。
我们基于真实的工业工作流和生产日志构建了 RITE 基准。首先使用语义错误分类对固定的工作流前缀注入错误,然后冻结记录的工具行为,允许智能体自由继续执行。基准覆盖九类电商工作流,共 167 条匹配单元,产生 501 条静默错误、正确值和显式失败实例。
在十种最新 LLM 上实验发现,静默错误会使任务成功率下降约一半,并且始终比显式失败更难处理。主要瓶颈依次是:错误识别、利用可用的验证路径、以及将验证证据整合进后续推理。
为验证提升韧性的可能性,我们提出了轻量级 State Checker 干预方案,能够在错误注入后检查状态一致性并提供纠正提示。
点评:RITE 为评估和改进智能体在真实电商环境中对隐蔽错误的容错能力提供了系统化方法,揭示了从错误感知到证据利用的多层挑战,并展示了简单状态检查器的潜在价值。