推理时间对齐通过辅助奖励信号引导冻结的语言模型在解码过程中操作，避免了反复更新权重的成本。然而，现有的推理时间对齐方法通常只优化单一的标量评分，因此必须忽略或通过手动调节的惩罚来编码显式的安全约束。我们提出了拉格朗日奖励增强（LARA），这是一个在安全约束下的通用推理时间对齐框架。
LARA 从一个带有奖励模型和成本模型的 KL 正则化约束目标开始，双重化约束并将优化问题简化为一个关于非负对偶变量的一维凸问题。在一个小的校准集上进行估计后，这个对偶变量定义了一个增强奖励，可以作为现有推理时间对齐方法中的一个替代评分信号。对于序列级采样方法，如 Best-of-N 重排序，校准的对偶变量对应于期望成本约束问题的解。对于基于标记的奖励引导解码方法，相同的构造产生了一个有原则的双重校准启发式，而不是精确的约束策略保证。
我们在序列级和标记级推理时间对齐方法上评估 LARA，发现 LARA 改善了有用性与无害性之间的权衡，其中 Best-of-N 在推理时间方法中表现最佳，接近基于微调的直接对齐基线。