NeFut Logo NeFut
EN 管理员登录

[AI学术] MagicBeanStalk:通过递归数据合成摆脱 RLVR 零优势陷阱

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#AI #Machine Learning #Math

数据中心化的 RLVR 扩展主要依赖收集或生成可验证的训练题目,但仅靠语料规模并不能保证对目标策略提供有效学习信号。我们通过实验把数据集有效性建模为题目集合、目标策略和训练 rollout 预算的函数。实验表明,常用的开源数学语料库在固定策略和预算下约有 88% 的题目要么在每次 rollout 中全部解出,要么全部失败,形成了几乎完整的零优势陷阱。过滤可以集中剩余的有效样本,却只能保留容易的题目,硬题被全部剔除。有效的合成题目必须包含解决硬题所需的推理操作和组合,同时难度要校准,使得部分 rollout 成功、部分失败,并且至少有一个正确解在预算内。直接让教师模型生成更难的题目并不能满足这些条件。基于上述经验,我们提出 MagicBeanStalk——一种自上而下拆解、 自下而上递归合成的算法。它以少量种子题目为蓝本,递归生成同构的题目族,保持种子题目的推理蓝图,并根据目标策略和预算自动校准难度。实验在 8 项数学基准上进行:在 16K token 预算下,持续 RLVR 训练使 gpt-oss-120b 的得分从 61.2 提升至 69.8(+8.6),DeepSeek v4Flash 从 72.4 提升至 77.9(+5.4)。相比之下,使用完整的 78K 源语料仅提升 +1.1,最佳过滤后的真实数据子集提升 +5.8。金融领域我们仅用 340 条解答合成出 14K 条可验证题目,使 SecQue 提升 6.9 分,FinanceBench 提升 2.4 分。

点评

原文链接: https://arxiv.org/abs/2610.12659

[h] 返回首页