DeoGen 是一种可扩展的自动化基准生成器，专注于评估语言模型在受监管环境下的义务推理能力。核心思路是将政策规则形式化为一阶逻辑（$\forall$, $\exists$），随后构建决策树以捕获所有可能的判决路径。树的每一条从根到叶的路径对应一个基准条目；叶节点提供明确的裁决，非叶节点用于检验模型在信息不足时是否能够正确选择“弃权”。相较于手工构造的数据集，单棵树能够产生与树深度呈指数关系的条目，从而实现大规模、参数化的基准生成。实验表明，前沿模型在信息充分的条目上能够以 89%–92% 的准确率给出正确裁决；但在信息不足的条目上，即使明确指示模型弃权，正确率仍仅为 22%–40%。整体来看，DeoGen 提供了一种自动、可扩展且可调参的方式来生成义务推理基准，显著降低了人工标注成本。
点评