摘要
归档探索方法如 Go-Explore 通过访问稀有性选择返回的状态，而前沿方法则返回未知区域的边界；但两者都未考虑未探索区域是否可进入。探索不仅仅是寻找奖励，更是为了后续学习和规划收集结构完整的经验。我们引入了 TopoExplore，它通过周期性拓扑遍历增强了 Go-Explore 的单元选择：通过洪水填充检测访问集占用网格的封闭未探索区域（空隙），并仅在其严格入口（间隙或门单元）上放置衰减选择奖励，因此封闭区域不会被目标，而已进入的区域则被退休。
在一个控制的 18 环境 MiniGrid 套件中（15 个种子，超参数固定），TopoExplore 在首次进入的中位步数上相较于其精确的 Go-Explore 消融实验实现了 1.52 倍的几何平均加速，而前沿基线则为 1.37 倍；当封闭诱饵结构出现时，前沿探索的表现下降（在诱饵环境中为 0.83-1.48 倍，而 TopoExplore 为 1.65-2.11 倍），而 TopoExplore 在困难的多交互门上取得了最大的胜利（10.9 倍）。
我们在 Montezuma's Revenge 上报告了一个诚实的负面结果——在没有墙体知识的情况下，无法到达的占用伪影捕获奖励，性能随着其增长而下降，隔离了墙体知晓入口测试作为关键组成部分；而在 HM3D 扫描建筑物上，我们的初步正面结果显示，TopoExplore 相较于 Go-Explore 的加速与场景难度相关（r=0.69），即使在前沿选择主导全面覆盖时。
证据支持了一个经过深思熟虑的主张：拓扑感知选择在必须区分封闭结构时带来收益，并在开放覆盖中仍具竞争力，尽管未针对该领域进行调优。
博主点评： TopoExplore 通过引入拓扑感知的选择机制，显著提升了探索效率，尤其在复杂环境中表现出色。这一方法不仅解决了传统方法的局限性，还为后续学习和规划提供了更为结构化的经验，具备广泛的应用潜力。探索领域的进一步发展值得关注。