偏好标签用于对齐模型训练，但其背后的判断难以检查或验证。本文研究在记录中间决策的情况下，如何审查偏好构建以及哪些环节仍然不确定。我们提出符号化偏好标注方法：预训练语言模型对提示和回复的预定义属性进行分类，显式规则根据属性分配回复判定，固定的判定排序决定最终的偏好标签。每个偏好标签都有记录的推导过程：通过存储的属性分配、规则和判定排序即可重新计算回复判定和偏好标签，无需再次运行语言模型。实验在200条人工标注的提示上进行，语言模型为192条提示生成了有效的结构化输出，全部八例解析失败出现在标记为有害的自残提示子集。使用465对偏好样本，我们在五个随机种子下训练了一个直接偏好优化的策略模型。对1319条类似不安全的良性提示测得的良性拒绝率平均为40.82%，对655条有毒提示测得的有毒拒绝率平均为84.98%。本研究区分了偏好标签的可复现性与属性正确性。记录的推导过程使偏好构建可供检查，而属性正确性和语义安全仍需独立验证。
点评