在线强化学习（RL）在决策任务中取得显著成功，但对训练经验质量极为敏感。为实现以数据为中心的 RL，需要量化单个训练样本的贡献。现有方法仅关注单轮训练的局部影响，忽略跨轮的非局部影响。
本文将数据归因形式化为轨迹层面的留一法量 (RL‑LOO)，衡量某一训练样本在后续在线更新后对下游目标的影响。基于此，推导出 RL‑IF——一种一阶估计器，能够同时传播优化效应和策略采样效应的影响，并在平滑性假设下给出近似误差的理论保证。进一步的分析表明，虽然两种效应均被建模，实际计算中仅使用优化效应即可得到与完整估计器相近的结果。
基于上述观察，提出实用的数据过滤框架 RINSE。RINSE 在标准控制基准以及类似 RLHF 的有害内容抑制实验中，分别相较于 PPO 和局部归因基线提升了训练效率和最终性能。
这些实验验证了 RL‑IF 提供了一个可行且有理论支撑的框架，用于理解和改进在线 RL。
点评