Curriculum learning 通常把训练样本按易到难排列。在 GRPO 中，中等难度样本因更可能提供有价值的组相对学习信号而受到在线选择的青睐，优先使用它们可以提升训练效率。
然而，持续只选取中等难度样本是否能得到最强的最终模型仍未可知，或者训练是否能从向更难样本递进中获益也是一个开放问题。随着策略的演化，样本难度会随之变化，固定的难度估计会与当前策略不匹配。
为此，我们在当前策略下重新估计样本难度，并受 curriculum learning 的易到难原则启发，设计并评估了一种分阶段课程：逐步将活跃难度区间向更难样本移动。
在 GSM8K 数据集上的实验表明，持续的中等难度选择未能达到最高性能。三组随机种子下，向适度更高难度区间递进可将测试准确率提升至 $0.6591 \pm 0.0077$，而固定中等难度的结果为 $0.6449 \pm 0.0024$。进一步向更高难度递进则导致准确率下降至 $0.6405 \pm 0.0053$。
这些结果说明，分阶段的难度递进能够超越单一的中等难度选择，但其收益并非单调递增。有效的 GRPO 课程应在超越中等难度的同时，避免过度推进至过难样本。
点评