学习长时程、目标条件任务需要智能体在扩展的时间尺度上推理并在广阔状态空间中行动。层次强化学习（HRL）通过动作（时间）抽象和状态（空间）抽象来同时应对这两个挑战。动作抽象把时间延伸的行为表示为 options，从而缩短有效决策视野；在每一层使用不同的状态抽象可以实现更粗的经验聚合。然而，这两项收益的实现依赖于合适的动作抽象。现有 HRL 方法要么忽略了对最优控制必需的 option 区别，导致层次结构失效；要么保留了过多的区分，虽然保持了视野压缩，却失去了更粗的状态抽象。
本文提出了动作抽象的三条期望，并引入 Q‑Shaped Options（QSO）来同时满足。QSO 基于层次结构中每层独立的状态价值函数、Q 函数和策略。它把相邻层之间的动作抽象学习为一个共享编码器，该编码器受两层各自的 Q 函数形状约束。低层 Q 函数把 option 当作目标，从而保留对最优控制必要的区分；高层 Q 函数把 option 当作动作，促使不必要的区分被抛弃。
实验在离线的目标条件行走和操作环境中进行，QSO 学到语义上有意义的 option 空间，显著超越基线，在所有其他算法均失效的任务上仍能取得非零表现。
点评：QSO 通过双向 Q‑函数约束实现了既保留关键区分又消除冗余的动作抽象，为层次强化学习提供了更稳健的框架。