强化学习已被用于提升大语言模型的推理能力，但在长时序任务上仍面临两大瓶颈：一是任务复杂导致成功轨迹稀缺，收敛缓慢；二是仅依赖稀疏的最终奖励，使得所有步骤均被同等更新，容易产生冗余行为。当成功轨迹的数量和质量难以保证时，整体性能受限。这源于现有RL框架完全依赖基模型的推理能力，缺乏对轨迹的主动优化能力。
为克服上述问题，本文提出TrajEvolve，一种结合事后信用分配的轨迹进化范式。TrajEvolve在利用模型生成的原始轨迹的同时，构造“进化轨迹”，即通过对历史低质量步骤进行细化来提升整体质量，使策略能够接触到基模型支持空间内的高质量组合，即使这些组合在常规训练预算下几乎不被采样。
此外，TrajEvolve将步级连续信用分配重新表述为二分类任务：判断每一步是否对任务完成必需。该转化降低了学习难度，并可通过反事实验证直接获得步标签，从而精准识别冗余步骤。
在两个公开数据集上的实验表明，TrajEvolve在成功率、收敛速度和生成质量上均显著优于传统RL方法。
点评：通过轨迹进化和二元信用判别，TrajEvolve 有效缓解了长时序任务中的样本稀缺和冗余问题，为大模型的强化学习提供了可行的新路径。