训练长时程语言模型代理需要从稀疏的终端反馈中为中间决策分配信用。传统方法往往依赖于全局价值函数或额外的评论者，而在实际 rollout 数据中，决策之间的有用比较取决于它们的上下文、两种备选方案的证据以及这些证据如何进入学习过程。
我们提出 匹配上下文组策略优化 (MCGPO)，它在已有轨迹上构造加权的动作偏好。MCGPO 首先用 动作前状态摘要 和 观察到的评分进度 定义比较上下文，并由任务规则进行标注。两动作支持机制在 精确匹配 与 粗略匹配 两类规则之间进行选择，从而在同一组 sibling rollout 中形成有序比较。
为防止信息泄漏，MCGPO 将候选决策与用于指向其偏好的终端结果分配到 固定折叠 中。每个折叠内部，根据证据来源的依赖程度计算 证据权重，这些权重同时作用于辅助的成对目标函数和共享的 GraphGPO 任务学习目标。
关键优势在于 MCGPO 直接复用 rollout 数据及每条响应的完整历史，保持 无评论者 (critic‑free) 的训练流程。实验在六组环境‑骨干网络组合上进行，每组使用三种随机种子。结果显示：
- 在 ALFWorld 与 WebShop 环境中，使用 Qwen2.5‑1.5B 与 7B 模型时，MCGPO 相比匹配的 GraphGPO 平均成功率提升 0.47‑1.46 个百分点。
- 在更大的 Qwen3‑4B 与 8B 模型上，WebShop 的提升分别达到 3.96 与 5.16 个百分点。
- ALFWorld 的基线成功率已超过 92%，提升空间有限，但仍实现了可观的增益。
- 在四个 Qwen2.5 设置中，有三项的整体成功率得到提升。
进一步的三种种子因子实验验证了 相反折叠证据 与 证据加权 的有效性；在所有四个表示‑控制设置中，联合状态‑评分匹配 获得了最高的平均表现。
点评