审稿抽签误差指的是由于只有少数评审关注论文的部分问题，而更大的潜在评审池本可以提出更多问题，从而导致的错误。我们提出通过展示从历史审稿语料中学习到的批评清单来降低该误差。方法首先构建一个检查清单树，表示对原子审稿主张空间的不同粗化层次，然后在这些粗化中选择能够最大化评审之间相关一致性的层次，该度量基于理论推导。实现上，我们搭建了一个由大型语言模型（LLM）辅助的流水线，利用NeurIPS 2021和ICLR 2022的审稿数据进行实验。 在使用LLM模拟评审的实验中，学习到的清单使三人评审委员会的均方误差（MSE）在NeurIPS上降低了$58\%$，在ICLR上降低了$21\%$，且在两种会议上，相关一致性最高的清单对应的三人及以上委员会误差最小。 在一次包含20名参与者的人类实验中，使用NeurIPS学习清单后，论文排序的MSE（相对于NeurIPS 2021官方排序）从$0.48$下降到$0.22$。
点评