模型的错误往往暴露出其训练行为准则的盲区。RubricOpt 提出一种框架，使策略在偏好优化过程中能够自行修订这些准则。策略先对未使用评分标准的输出进行诊断，保留已经被评分标准覆盖的需求，并针对反复出现的失败编辑相应条款。任务需求、偏好数据对比以及评分条款通过共享的语义表示相连，确定性门控负责检查证据引用和固定的语义锚点。训练阶段，评分标准引导直接偏好优化（DPO），偏好对、标签和目标保持不变，评估时则去除评分标准。理论分析将 rubric‑free 成功的局部效应关联到语义对齐程度以及超出测量因素的残差。实验在能力评估和开放式生成基准上显示，加入评分标准的 DPO 能在多数模型和数据集上提升效果，亦出现一定回退。通过匹配的继续实验，将修订贡献与额外训练分离，发现所测试的编辑带来混合的增量效应，且其反馈与评估集有重叠。RubricOpt 因而将行为规范本身纳入策略的反馈回路。
点评