评估语言代理在开放式、产出实体的任务上极具挑战：基于模型的评分器往往不一致，而穷尽式的程序检查常常不可行。文本化的评分标准能够把评估要求写得清晰，但编写它们需要领域专业知识，仅凭任务描述生成的标准容易遗漏实际解答中暴露的需求和错误模式。
RubricCraft 将评分标准的构造视为在候选解答引导下生成自然语言规格。给定任务描述以及若干独立采样的求解轨迹，系统比较每一次尝试是如何满足或违背任务要求的，并利用这些差异自动生成评分标准的条目。
生成的标准随后被应用到所有收集到的解答上，系统会修正那些忽视错误或错误惩罚有效变体的检查。这样即使没有单一完整的参考解答，也能捕获部分正确性并提供细粒度的评估。
在 SpreadsheetBench v2 上的实验表明，RubricCraft 的评分标准相较于同模型仅通过提示生成的人工标准，错误输出的通过率更低（29.5% 对 42.6%），且不会误判基准检查已接受的输出；在正确性排序上表现更频繁，同时保持对模型的区分能力。
修复实验显示，单一次尝试的修复对评分几乎没有影响；但基于三类模型的多次尝试进行的修复在不同任务上均能产生效果。证据审计表明，大多数修复提升了评分质量，甚至在参考解答本身错误的任务上也取得了改进。
点评