在部分可观测马尔可夫决策过程（POMDP）中，信念是给定智能体动作‑观测历史后对隐藏状态的后验分布。它们完整地捕获了历史对状态的所有信息，因此在 POMDP 中的规划等价于在信念空间上的马尔可夫决策过程（MDP）进行规划。即使是有限状态的 POMDP，信念 MDP 也拥有连续的状态空间，精确规划在一般情况下是不可行的。于是规划器必须对信念进行近似，并对价值进行估计。Monte Carlo 规划器在搜索树的每个节点维护一个近似信念，并在每个叶子节点给出价值估计。常见的近似方式是使用一组采样状态；叶子价值可以来源于 rollout、手工设计的界限或学习得到的网络。基于这些近似得到的策略和价值受限于近似质量，且已有的学习网络方法往往依赖于对采样状态的手工特征提取。理想的信念表示应当能够：① 从父节点的表示通过 POMDP 动力学直接计算得到；② 供搜索过程进行采样；③ 通过学习提供策略和价值函数所需的信息。我们提出 Belief Embedding Tree Search (BETS)，这是一种满足上述要求的 Monte Carlo 规划器。BETS 使用生成式分布嵌入（Generative Distribution Embedding, GDE）来表示每个节点的信念，并在搜索过程中依据 POMDP 动力学对其进行更新。信念模型、策略网络和价值网络在交互式经验中同步训练，训练目标为 POMDP 的真实隐藏状态。我们在 RockSample、LightDark、PocMan 的六种配置上将 BETS 与 BetaZero 以及三种不含学习组件的基线进行比较。实验表明，BETS 在全部六个任务上均表现竞争或领先，而每个基线至少在一个任务上表现显著落后。尤其在信念维度极高的情形下，即使不进行搜索，BETS 也能取得大幅优势。
点评：BETS 通过在搜索树中引入可学习的信念嵌入，实现了对高维信念的高效近似和价值估计，展示了生成式模型在 POMDP 规划中的强大潜力。