本文研究奖励模型在细粒度有害微调后的新兴错位现象。我们对两款最新奖励模型 Skywork-Reward-V2-Llama-3.1-8B 与 Skywork-Reward-V2-Qwen3-8B 进行微调，使其在医学或金融等单一领域偏好有害输出。实验发现，这种偏好会跨越七个未见领域传播，表现为奖励分数仅下降 4.8 与 5.3 分，却仍优于未改动的 RM‑Qwen。随后，我们对对应的语言模型 Llama-3.1-8B‑Instruct 与 Qwen3‑8B 采用 DPO 与 SFT 进行相同数据的微调，结果显示奖励模型更易出现偏好逆转。机制分析表明，逆转主要发生在最后得分的 token 上：① 表征空间出现几何压缩，导致有害与安全响应的向量夹角缩小；② 内容特异性旋转，使有害表征相对于标量头的角度更小，从而获得更高奖励。这两种现象仅在有害偏好微调中出现，控制实验中未观察到。
点评