在现代AI系统中，成对的人类比较是学习人类偏好的主要接口。强化学习与人类反馈（RLHF）以及相关的对齐流程通常使用Bradley--Terry对数赔率模型，这一模型假设选择概率由潜在的奖励差异决定。本文通过一个基于理性不注意的简化模型，探讨了这一假设所忽视的内容，其中每个标签由一个低容量的评估通道生成。
该模型将标准奖励建模通常混淆的两种模糊性分开：比较可能困难的原因有两个：一是两个候选者在价值上确实非常接近，二是相关的区别在有限注意力下难以被探测。我们展示了有限注意力如何根本扭曲成对比较所揭示的信息。特别是，被动的比较数据通常无法区分奖励、注意力和默认倾向，而异质注意力可能使标准的Bradley--Terry奖励建模恢复出误导性的排名。
我们的分析表明，学习的驱动因素不是标签的原始数量，而是每个标签所携带的注意信息量。通过Chatbot Arena中的语言模型对的人工投票案例研究，我们展示了预测的特征：比较数据中存在一个超出采样噪声的循环成分，而没有任何标量奖励可以表示；第二个关于感知比较的案例研究表明，反应时间和注视携带了标签所没有的差距信息。
这一视角表明，人类反馈应被视为一种有限注意力的测量过程，而非直接揭示的偏好信号：弱偏好信号可能反映隐藏的评估困难，而非真正的无所谓。