PEARL（Process-Experience Aware Reinforcement Learning）旨在提升多轮交互智能体的局部信用分配，而无需额外的 critic。传统的终端奖励只能提供全局信号，组相对优势对中间决策的指引有限；失败轨迹中仍可能包含合理动作，且不良决策模式会在训练中重复出现。PEARL 的核心思路是：给定同一历史的两条不同结果的延续，找到它们的首次分歧点，并为每条分支的局部决策构建特征向量。随后将这些特征在近期的失败记忆和成功记忆中进行聚类，形成模式库，用于识别重复出现的局部决策模式。基于模式库，PEARL 在低奖励决策处有选择地增强负优势，而对正优势和基础策略优化器保持不变。实验在 AppWorld 上对比 ARPO，在 Normal 与 Challenge 任务的 4B 与 8B 规模均取得提升；在 ALFWorld 上 4B 规模实现 97.9% 的平均成功率，比最强基线高出 2.7 点，且在 8B 规模保持竞争力。消融实验表明，形状位置、成功库过滤以及记忆窗口的设计均对基于重复模式的选择性更新有显著贡献。
点评