Reinforcement learning (RL) 在自适应决策中至关重要，例如鲁棒 Meta‑RL、域随机化和大语言模型的后训练，任务通常表现为马尔可夫决策过程或提示。
关键瓶颈是为任务选择和策略优化所需的环境交互成本。模型预测任务采样（MPTS）通过风险预测模型（RPM）利用优化历史查询信息丰富的任务，从而提升样本效率。
现有 RPM 存在两类失效模式：① 优化历史稀疏，导致在任务空间的泛化受限；② 风险近似存在一步滞后，使得随着策略演化难度估计产生偏差。
本文形式化上述失效模式，推导出滞后风险分解式 $$R_t = \hat{R}_{t-1} + \Delta_t$$，揭示时间偏差的来源，并将风险预测重新表述为上下文序列建模问题。
提出的 RPM 在序列模型中加入一步前瞻机制，并使用时间加权滑动窗口平衡数据的非平稳性和稀缺性，整个过程无需额外采样。
实验在鲁棒 Meta‑RL、域随机化以及 LLM 提示课程 RL 后训练三个场景验证，得到更可靠的难度估计并实现一致的性能提升。
点评