奖励引导的离散扩散能够在测试时对齐下游目标,但在每个去噪步骤都使用顺序蒙特卡罗(SMC)引导会导致计算开销巨大。主动引导步骤需要额外的奖励评估,对于基于梯度的提议还需计算价值梯度。稀疏引导通过仅在部分时间步进行引导来降低成本,但常用的调度往往是固定启发式的,其效果在不同任务间差异显著。
我们提出 VISTA,这是一种无需额外训练、在固定预算下自动选择引导时间步的方法。VISTA 将稀疏引导视为对理想全引导概率路径的近似,并推导出可估计的 $$\ell_1$$ 路径偏差上界。利用少量全引导热身生成收集的价值统计,VISTA 在经验代理上通过动态规划精确求解最优调度。热身生成的输出可以直接保留,调度选定后 VISTA 的每次生成引导复杂度与其他同预算稀疏调度相同。
在文本、生物序列和图像生成任务上,VISTA 能够发现任务相关的调度,并在大多数实验设置中超越手工设计的稀疏调度,同时在若干任务指标上接近或超过全引导性能。例如,在有毒文本生成任务中,VISTA 达到 0.99 的唯一有毒比例(全引导为 1.00),并将每次生成的后选择延迟从 204.23 秒降低至 38.16 秒,实现 5.35 倍加速。
点评