摘要
强化学习在控制真实世界系统方面的应用日益广泛，从聚变等离子体、自主车辆到药物发现和饮用水处理等领域，可靠性至关重要，而调优预算又有限。Actor-Critic算法共享一系列设计决策，包括如何更新策略、如何表示动作分布、如何估计梯度，以及相对于价值估计器的更新频率。
我们使用源自真实水处理厂的控制任务，分析了超过33,000次实验，以确定这些组件如何影响运行间的变异性和对超参数的敏感性。常见的默认配置，如使用路径梯度估计器的高斯动作分布，往往是最不可靠的，而使用有界分布和自适应更新调度的配置在广泛设置中保持了稳健性。
这些发现为科学和工程领域的从业者提供了实证指导，帮助他们在将Actor-Critic方法适应新的真实世界控制设置时做出组件级决策。
博主点评： 本文通过大量实验揭示了Actor-Critic算法设计中的关键决策对性能的深远影响，强调了选择合适的动作分布和更新策略的重要性。这为实际应用提供了宝贵的经验教训，值得从业者深入研究和实践。