在传统的深度强化学习中，训练出的策略常被视作黑箱。本文探讨如何通过将其重写为可执行的逻辑程序，使其变得可解释。我们提出了一种三阶段的后处理转换方法，首先提取冻结的近端策略优化教师，然后以经典关系学习的方式从其决策中诱导出有序规则列表，最后将结果输出为Prolog程序，确保每个决策都能被现成的逻辑引擎执行。
接下来的扩展阶段允许对规则库进行编辑，仅在策略评估证明收益增加时接受编辑。
我们证明了四个保证条件：收益损失界限使得提炼出的程序成为有限马尔可夫决策过程中的机器可检查证书，扩展循环单调改进并最终终止。
在连续观测设置中，我们回答了转换是否可能的问题：命题阈值实例化将网络转换为任意精度，随着解析度B的增加，分歧为O(1/B)，而收益差距以相同速率缩小。同时，匹配的下界显示，对于倾斜决策边界，成本在观测维度上呈指数增长。
在一个包含16,944个可达状态的双房间钥匙-门任务中，扩展的Prolog程序在每个种子上都达到了精确的最优收益，并且在预算限制的情况下，十次实验中有十次超越了随机教师的精确收益。
在三个连续控制任务中，发出的程序替代了网络，在Acrobot上与神经教师的表现相当（使用了11条规则），在CartPole上恢复了约97%的收益，而在更精细控制的LunarLander上则仅部分恢复，这正是指数下界预测的上限。
博主点评： 本文通过引入逻辑编程的方式，成功将深度强化学习的黑箱特性转变为可解释的规则系统，为强化学习的透明性和可验证性开辟了新的方向。这样的研究不仅具有理论意义，也为实际应用中的决策过程提供了更高的可信度。