在强化学习（RL）中，可靠的智能体必须在传感器故障、动态干扰和缓慢环境变化中保持操作完整性。检测分布外（OOD）条件对于判断智能体的观察、转换或轨迹动态何时偏离其策略训练的假设至关重要。目前的OOD检测基准通常评估图像分类器或静态低维数据集，未能考虑到RL轨迹中固有的复杂、依赖于动作的时间结构。
为了解决这一问题，我们提出了OOD-RL-Bench，这是一个全面且可扩展的框架，旨在评估OOD检测器在RL轨迹中注入的异常类别的表现。检测器和异常注入器通过共享接口和配置集成，使得新的评分方法和扰动类别可以在不修改核心基准循环的情况下进行评估。
我们使用Deep Q-Network策略在LunarLander-v3环境中评估该框架的效用。我们通过匹配时间的AUROC、AUPRC、假阳性率、检测延迟和分段起始指标评估每个检测器在一系列异常类型上的表现。
我们的分析揭示了不同异常类型间显著的性能差异：观察扰动和状态切换被几种方法高精度识别，而观察延迟和动作条件动态则仍然困难，即使在将后期异常分数与同一时间步的干净分数进行比较时也是如此。我们将框架、训练的策略检查点和完整结果公开，以作为可重复的成果。
博主点评： OOD-RL-Bench为强化学习领域提供了一个重要的工具，使研究人员能够更好地评估智能体在异常情况下的表现。这一框架不仅填补了现有检测基准的空白，还通过灵活的接口设计，支持多种异常类型的测试，具有很高的实用价值和前瞻性。其公开的训练模型和结果也促进了研究的透明性和可重复性。