经验学习使大语言模型（LLM）代理能够通过复用历史执行的知识实现持续提升。现有方法大多只依据任务的最终结果提供反馈，忽视了执行过程，导致难以依据轨迹质量评估和优化经验。为弥补这一缺陷，我们提出 TQG-Exp 框架，引入过程反馈。核心是轨迹质量损失（Trajectory Quality Loss，TQL），它在考虑任务完成度的同时加入过程质量，从而提供超越最终结果的学习信号。基于该信号，我们采用有无检索经验的配对 rollout，比较两组轨迹的质量差异，以指导经验的优化。通过任务结果和轨迹质量挑选代表性轨迹，提取任务层面和任务类型层面的经验；配对组之间的质量差异用于估计检索经验的贡献并更新其效用。更新后的效用再与语义相关性结合，驱动后续经验检索。实验在 ALFWorld、WebShop、ScienceWorld 三个基准上，使用 DeepSeek-V4-Flash 与 Qwen3.5-Flash 两种主干 LLM，TQG-Exp 将 Avg.@3 提升分别提升 4.50% 与 8.55%，显著超越最强基线。
点评