强化学习与可验证奖励(RLVR)已被证实能够提升大语言模型的推理能力,但在长时程多模态任务中的效果仍未充分探索。视觉数独是典型的长时程任务,需要在局部约束和全局依赖链之间进行多步演绎推理。为此我们构建了 FG‑Sudoku 基准,按照网格规模和所需演绎步数进行细粒度划分。实验表明,当前前沿多模态大模型在复杂的长程依赖(如 9×9 数独)上几乎无法取得成功,导致后期训练时奖励极度稀疏,标准 RLVR 难以继续优化。为克服这一瓶颈,我们提出了自适应课程组相对策略优化(AdaC‑GRPO)。不同于固定或基于先验的课程安排,AdaC‑GRPO 通过在线 rollout 准确率实时追踪模型的最近发展区(Zone of Proximal Development),动态构造训练批次,从而在奖励稀疏的环境中保持有效学习。实验结果显示,使用 AdaC‑GRPO 训练后,Qwen2.5‑VL‑7B 的表现接近 Gemini‑2.5‑Flash,并缩小了 62.2% 的整体准确率差距至 Gemini‑2.5‑Pro;此外,在 InternVL‑3.5 和 Qwen3‑VL 上的迁移实验也验证了其良好的通用性。
点评:AdaC‑GRPO 通过实时评估模型能力并自适应调整任务难度,有效缓解了长时程视觉数独中的奖励稀疏问题,为多模态推理任务的 curriculum learning 提供了可行路径。