On‑policy 蒸馏（OPD）能够在极少的训练问题下取得显著效果，这表明问题本身可以携带分布式知识转移。为评估新生成的问题是否对蒸馏有价值，并在不依赖正确答案的前提下学习生成更好的问题，我们提出了 Ask‑to‑Distill（\method）框架。该框架把合成问题视为分布诱导器，优化它们在学生生成轨迹上暴露的教师监督。
在 \method 中，学生初始化的合成器通过一个分布式代理价值函数进行优化，该价值函数仅依赖冻结的学生‑教师配对，无需参考答案、正确性奖励或对每个候选进行学生更新。奖励由三部分组成：
$$R = \lambda_1 \cdot \text{Disagree}(T, S) + \lambda_2 \cdot \sum_{a \in \mathcal{C}} P_T(a) - \lambda_3 \cdot \text{len}(q) + \lambda_4 \cdot \text{Div}(\mathcal{C})$$
其中 $\text{Disagree}(T, S)$ 衡量教师与学生在候选答案集合 $\mathcal{C}$ 上的分歧，$\sum_{a \in \mathcal{C}} P_T(a)$ 为教师在学生候选支持上的概率质量，$\text{len}(q)$ 控制问题长度，$\text{Div}(\mathcal{C})$ 鼓励答案多样性。
生成的问题经过过滤和去重，形成仅含提示的银行，用于标准的 OPD 训练。我们在数学推理、代码生成和智能体任务上进行评估，结果显示相较于未优化的学生生成提示和 KL‑过滤的真实问题，\method 能提升平均性能并缩小教师‑学生差距，在多数设置下甚至匹配或超越真实银行的 OPD。信号分析进一步表明，优化后的问题能够从更短的学生响应中提取更密集的监督信号，验证了分布式监督作为合成蒸馏数据目标的有效性。
代码、数据和模型已公开发布于 https://github.com/GasolSun36/Ask_to_Distill。
点评：\method 通过将问题本身视作信息载体，实现了在缺乏答案标签的情况下自动评估并提升合成数据质量，为高效的策略内蒸馏提供了新思路。