摘要
近年来,大型语言模型的进步使得自动化手稿生成成为可能,但现有系统存在三个严重缺陷:
- 生成的主张未能在可验证文献中确定性地扎根;
- 实验结果往往是虚构的,而非实际执行的;
- 缺乏标准化的多维框架来评估 AI 生成的手稿是否符合真实出版所需的质量和严谨性。
我们提出了 Prompt-to-Paper,这是一个多代理框架,直接解决了这一评估缺口,包含三个集成创新:
-
确定性检索增强生成管道:利用基于章节内容相关性的评分和雪球引用扩展,确保每个主张都扎根于 60 至 100 篇可验证的文献中。
-
自主编码代理:执行真实的计算生物学实验,用真实的数值结果替代合成输出。
-
八维自动质量评分器:基于已发表论文的近似参考统计进行基准测试,并增加显式幻觉惩罚,提供标准化的、可重复的质量评估。
该质量驱动的改进循环使用一个丰富上下文的修订器,针对每次迭代选择三种研究者行动之一,每十次迭代触发一次深度研究循环,以重新运行实验并从更强的输出中重新撰写手稿。
我们在五个生物信息学案例研究中验证了该系统;所有五个案例生成了提交格式的 PDF,且没有超出范围的引用。改进循环使得手稿质量在 0 到 100 的评分中平均提高了 +17.96 分(最高 +26.04)。作为部分外部检查,一位人类评审员对这五份手稿的评分平均为 7.0 分(满分 10 分)。完整手稿的生成成本约为每篇 0.31 美元。
博主点评: Prompt-to-Paper 系统通过创新的多代理框架解决了生物信息学领域中 AI 生成手稿的质量问题,其独特的质量评分机制和真实实验执行能力为未来的研究提供了强有力的支持。这一进展不仅提升了手稿的可信度,也为学术出版带来了新的可能性。