摘要
强化学习在现实环境中常常面临严重的性能下降，尤其是在反馈延迟的情况下。现有方法通常通过构建扩展状态或预测真实状态来缓解观察延迟带来的性能下降。然而，这些方法往往忽视了由随机马尔可夫决策过程（MDP）引起的延迟状态与真实状态之间的固有差异。我们理论上证明了这种差异的存在，并展示了它如何导致最优策略的降级。
为了解决这一挑战，我们提出了基于扩散引导的不确定性感知延迟策略优化（DUPO）。我们的方法明确建模了延迟状态信息与当前状态之间的关系，采用扩散模型，并利用生成的差异估计来加权延迟策略。在多个随机延迟的连续机器人控制任务上进行的广泛实验表明，DUPO始终优于现有方法，并且在长时间和随机延迟场景下仍然有效。
博主点评： DUPO方法通过引入扩散模型有效解决了延迟反馈问题，为强化学习在复杂环境中的应用提供了新的思路。其理论基础和实验结果均显示出较强的实用性，值得在实际应用中深入探索。尤其是在机器人控制领域，DUPO的潜力不容小觑。