离线强化学习（RLVR）在固定的响应池上训练，通常对每个响应的每个 token 进行监督，但并非所有响应和 token 同等信息量。本文通过 KL 正则化的 Gibbs 最优策略，研究应监督哪些数据，并用双向 KL 衡量策略与目标之间的偏差。在参考策略下，这一偏差可精确分解：正确响应主要通过前向 KL 贡献，集中在其低概率 token；错误响应通过逆向 KL 贡献，集中在策略常生成的响应及其高概率 token。基于此分析，提出 GIST（Gibbs‑Targeted Hierarchical Data Selection），采用两层选择：利用采样温度在策略上挑选正确响应，并在策略模式附近挑选错误响应；再依据初始策略的 token 概率，仅监督出现偏差的 token。GIST 在两种离线训练目标上均提升了 GSM8K、MATH‑500 与 MBPP 的平均准确率，并在 Qwen3‑0.6B/GSM8K 的对照实验中，以监督 66.6% 更少的 token 超越了七个基线方法。\n\n点评：GIST 通过理论驱动的层次筛选，有效削减冗余监督，提升离线 RLVR 的数据利用率和模型性能。