学习人类偏好数据是让语言模型对齐人类价值的主要途径。在线性社会选择中，奖励被假设为提示‑响应对的固定特征表示的线性函数。Ge 等人（2024）证明，使用任何非递减凸损失（包括 BTL）来拟合此类奖励会导致偏好可序（PO）和多数一致性（PMC）失效；且任何仅依据多数关系的规则在要求输出线性可诱导时都无法满足 PO。\ \ 为了解决这一矛盾，我们放宽线性模型，引入每个候选项的松弛量。我们在满足公理的前提下，以最小的总松弛量求解线性奖励，并要求任意两奖励值的差距不少于 $$\eta$$。该解在不对选民或比较收集方式作任何假设的情况下满足所有公理。我们证明，当 $$\eta \le O\left(\frac{1}{m^2}\right)$$（其中 $m$ 为候选项数）时，最优总松弛量上界为 $O(1)$，并给出实例表明该界是常数因子下的紧确界。\ \ 在实际场景中，候选项数远大于特征维度，且只能在未见响应上评估线性奖励。基于此，我们提出一种新方法：对每一次线性奖励预测错误的比较收取费用，同时最小化总松弛量和错误次数。该方法通过参数 $\lambda$ 在两者之间进行权衡。我们证明，总松弛量随 $\lambda$ 单调增长但会饱和：增大 $\lambda$ 能降低线性奖励的错误数，却会提升松弛量，但松弛量始终保持在 $$ (\eta + \Delta \sqrt{d}) \left\lfloor \frac{m^2}{4} \right\rfloor $$ 以下，其中 $\Delta$ 为特征空间直径，$d$ 为特征维度。\ \ 在合成数据和真实偏好数据上的实验验证了理论结果，且我们的方法得到的线性奖励在多数情况下优于传统的线性 BTL 方法。\ \ 点评