Rubricon 是一种无需人工偏好标签、手工标注或专门生成模型训练的流水线，能够自动生成区分度高的评分标准（rubric）。该方法使用任意大语言模型（LLM）多次采样候选 rubric，随后通过判别性评估挑选最具区分力的版本。接下来，系统会向 rubric 中添加遗漏的评估维度或响应缺陷，并剔除与任务目标不符或过于浅显的准则。Rubricon 还结合 LLM 的自我批评机制和测试时的规模化策略，利用示例模型响应在各准则上的通过率来进一步指导 rubric 的细化。实验在五个涵盖专业、消费、临床和通用场景的 LLM 基准上进行，Rubricon 生成的 rubric 与人工专家编写的 rubric 的对齐度提升约 9%，优于 RRD、QSRG、OpenRubrics 以及基于 Codex 等代理生成的方案。在 HealthBench 上，将 Qwen3.5‑9B 模型使用 Rubricon 生成的 rubric 进行后训练，可比使用最强合成 rubric 生成器 RRD 的结果提升约 4.5%。
点评