在强化学习（RL）中，可解释性仍然是一个关键问题。尤其是在复杂环境中提取可解释策略时，面对连续动作空间的挑战更为显著。
我们提出了 ORCAID，这是一种从在混合连续-离散环境中运行的 RL 代理中提取可解释规则基础策略的新方法。我们的主要贡献是一个高效的斜决策树训练算法，该算法通过超平面划分状态空间并拟合局部线性模型。
其核心思想在于三阶段的划分搜索：高效的随机初始化、本地优化和反向消除。最后，相邻的叶节点被合并，以生成一组简洁的可解释规则，描述给定的深度 RL 策略。
我们在多个 RL 环境中评估 ORCAID，结果表明提取的规则基础策略在参数数量较少的情况下仍能保持强劲表现，甚至可以用于提升原始深度 RL 策略的性能。
博主点评： ORCAID 提供了一种有效的方式来提高深度强化学习策略的可解释性，尤其是在复杂的动作空间中。其斜决策树的设计和三阶段搜索策略展现了高效性和灵活性，为 RL 领域的可解释性研究开辟了新的方向。该方法的实用性和性能提升潜力值得进一步探索。