强化学习可验证奖励（RLVR）通过采样模型回复、使用自动验证器打分并依据奖励更新策略，实现对语言模型的训练。策略只能从自身 rollout 中出现的轨迹获得学习信号，若在固定的 rollout 预算下反复采样同一策略，往往会集中在相似的推理路径，导致有价值的备选路径未被探索。
为了解决此问题，本文提出 激活空间探索（ASE），一种在线多样化 rollout 的方法。ASE 首先对同一道题的正确与错误回复的激活差异进行聚类，构建结构化的潜在探索向量库。随后在后续 rollout 中将不同的向量叠加到模型激活上，以引导模型走向不同的推理路径。
在 Qwen3-1.7B-Base 与 Qwen3-8B-Base 两个基座模型上，使用 DAPO-Math-17k 数据进行训练，ASE 在相同 rollout 预算下，使六个数学推理基准的平均 Mean@8 分别比 GRPO 提升 4.87% 和 1.87%。
点评：ASE 通过对激活空间的系统化操作，实现了在有限采样预算下的推理多样性提升，为 RLVR 的实际部署提供了可行的探索手段。