我们研究在观测数据上改进决策策略，以生成更优的复杂结构化动作（如文本或图像）。该任务面临两个主要难题：一是动作层面的重叠往往不足，导致离线评估和改进不可靠；二是生成新结构化动作通常需要昂贵的模型训练或微调（例如大语言模型），且由于动作表示的信息损失，生成过程可能不明确。为同时克服这两类难题，本文提出 PolicyLift——一个由三阶段组成的框架，用于在观测数据上进行结构化动作的生成式策略改进。第一阶段，PolicyLift 学习一组离散的动作编码，这些编码捕捉观测动作空间中的高层策略，并专门设计以在重叠受限的情况下支持策略改进。第二阶段，在这些动作编码上学习上下文相关的策略。部署时，第三阶段将学习到的编码层策略“提升”回原始动作空间，方式是基于历史行为系统在给定编码条件下生成具体动作。理论上，我们证明在编码层面提升策略必然导致原始动作空间中的策略改进。实验在合成任务和真实文本生成任务上验证了 PolicyLift 的有效性，始终实现了相对于行为策略的稳健提升。
点评：PolicyLift 通过抽象化动作空间并在抽象层面进行离线学习，巧妙规避了重叠不足和高成本生成的双重瓶颈，为结构化决策提供了可解释且高效的改进路径。