标准的策略梯度（PG）算法因为依赖 Monte Carlo 更新而导致估计方差大。离策略的方差降低方法可以缓解该问题，但要得到最优样本复杂度通常需要假设重要性权重有统一上界或使用不切实际的二阶操作。\
本文提出 Loopless Vari差降低 PG（LVR‑PG），构建了一个统一的理论框架，抽象出一类结合递归更新和防御性重要性采样的一级估计器，已知的 PAGE‑PG、STORM‑PG 都是其特例。我们证明在弱梯度支配条件下，对任意参数化策略，该类算法在最后一次迭代上实现 $\tilde{O}(\epsilon^{-2})$ 的全局收敛率。该结果仅依赖一级更新，假设极少，且不需要梯度预条件子。\
进一步将最先进的下界扩展到连续参数化策略，得到 $\Omega(\epsilon^{-2})$ 的样本复杂度下界，从而表明我们的框架在对数因子和时间跨度项之外达到极小极大最优。\
点评：LVR‑PG 在保持实现简洁的同时，提供了与已知下界匹配的收敛率，是离策略强化学习理论的一个重要进展。