在强化学习中，跨域策略转移面临着源域和目标域之间动态不匹配的重大挑战。本文考虑在线动态适应的设置，在源域中使用充分数据训练策略，而在目标域中仅允许有限的交互。现有的一些研究通过使用领域分类器、价值引导数据过滤或表示学习来应对动态不匹配的问题。
相较之下，我们从生成建模的角度研究领域适应问题，提出了 DADiff，一个基于扩散的框架，利用源域和目标域生成轨迹之间的差异来估计动态不匹配。在此框架下，我们开发了奖励修改和数据选择两种变体，以适应目标域。我们还提供了理论分析，表明给定策略在两个域之间的性能差异受到生成轨迹偏差的限制。
此外，我们深入讨论了变体的适用性以及我们的理论分析与先前工作的联系。我们在多个环境中进行了广泛的实验，验证了我们方法的有效性，结果显示我们的方法在解决动态不匹配方面优于现有方法。代码可在 GitHub 获取。
博主点评： DADiff 提供了一个创新的视角，通过生成模型的方式解决了强化学习中的动态不匹配问题，展现了扩散模型在实际应用中的潜力。其理论分析和实验结果都表明了这一方法的有效性，值得强化学习领域的研究者深入探讨和应用。