许多语言模型的实际应用并不关注单个生成样本,而是关注模型下某个测试函数的期望值。直接估计该期望往往需要大量采样,计算成本高。本文提出利用采样过程自然产生的下一个词的条件概率,通过势函数(在前缀上的实值函数)对测试函数进行加法分解,从而构建更高效的估计器。
我们首先定义势函数 $\phi$,使得原始测试函数 $f$ 可以写成 $f(x)=\sum_{t}\phi(x_{\le t})$ 的形式。基于此分解,可得到一个无偏估计器,其方差由所选势函数决定。进一步推导出势函数能够降低方差的充分条件:
$$\mathrm{Var}[\hat{\mu}_{\phi}] \le \mathrm{Var}[\hat{\mu}_{\text{baseline}}]$$
在此基础上,针对不同的估计目标(如序列概率、BLEU 期望、置信度等),设计了具体的势函数构造方法,包括基于前缀概率的线性势、基于梯度的自适应势等。实验在多个公开数据集上对比了不同势函数与基线采样的方差,结果显示在相同计算预算下,使用合适势函数可实现数倍甚至十倍的方差下降,从而显著提升估计精度。
点评:本文通过巧妙利用采样时已有的条件概率信息,引入势函数实现了期望估计的方差控制,提供了理论分析与实用实现的完整框架,对提升大规模语言模型评估效率具有重要意义。