自动化科研系统能够完成文献综述、研究构思、实验执行、论文写作以及同行评审等环节。然而，这类系统的评估分散在不同任务、基准和研究中，难以直接对比。本文从评估设计与证据的角度审视相关文献，聚焦六大目标：文献合成、研究构思、可执行工作流、学术写作与交流、自动化同行评审以及端到端科研。
我们比较了任务构建方式、证据来源、评估者类型以及评分流程，阐明不同设计所衡量的能力。综合分析得到三条常见经验：输出检查、过程检查和人工研究相互补充；评估者的校准必须针对具体评估属性进行；资源预算和尝试选择是解释性能比较的关键因素。
基于这些发现，我们提出了诊断性评估设计的示例，并指出当前证据支持的空白。最后，本文将比较结果转化为针对不同评估场景的报告与审计建议，帮助读者梳理已有评估、挑选合适基准并设计后续实验。
点评