多模态偏好对齐传统上采用基于奖励的 RLHF 流程：先训练奖励模型学习人类偏好，再用该模型为在策略响应打分并优化生成模型。该方式把偏好监督压缩为标量信号，模型只学会产生更高分的答案，却很少直接学习人类偏好的背后原因。\ \ 为检验让模型内部具备偏好理解能力是否能提升生成质量，本文提出 PrefMind，一种在线双智能体强化学习框架。框架包含两个可训练的智能体：Generator（响应生成器）和 Critic（偏好评判器）。在每一次交互中，给定一对候选响应，两个智能体先分析并讨论哪一个更符合人类偏好；随后由人工标签监督它们的判断并提供纠正。若 Generator 与经纠正后的 Critic 均正确识别出人类偏好的响应，Generator 会基于该信息生成改进答案；Critic 再将新答案与原始偏好答案比较，产生生成奖励。两个智能体均从当前策略采样的交互中同步更新。
通过上述循环，PrefMind 让 Generator 通过显式的判断与纠正过程学习人类偏好，并将这种理解转化为更优的响应。实验在三种模型规模上进行，结果显示：① 单独的偏好判断能力显著提升；② 下游的响应生成质量也得到改善。\ \ 点评