在科学发现领域,LLM系统越来越多地用于创意生成、文献综合、实验规划和报告生成。然而,它们提出的第一个研究问题往往难以审计,因为这些问题可能听起来合理,却未能揭示科学家应检查的机制、反驳者或假设。为此,我们引入了FirstResearch,这是一个基于第一原则的科研问题形成框架,其核心产物是结构化的研究问题证书。该证书记录了原始定义、假设、机制模型、张力或矛盾、可反驳的假设、最小决定性测试和失败更新规则,使得所提出的问题在下游执行之前可供检查。
在十个LLM代理研究主题上,FirstResearch的表现优于受AI共同科学家、代理实验室和AI Scientist-v2启发的控制提示级基线,依据主要的DeepSeek盲评协议。Gemini-2.5-Flash的独立评审对同40个基线包的重新评分保持了系统级排名,FirstResearch得分为4.86/5,而最强基线为4.38/5,平均得分的Pearson一致性为0.865。一次重复的消融检查进一步表明,证书中心的核心是最强的组成部分:仅证书评分在DeepSeek下达到4.90/5,在Gemini下达到4.88/5,而去除证书后在两个评审下得分均低于1/5。这些结果是初步的,使用的是LLM评审而非人类领域专家,但它们支持一个狭义的科学发现主张:显式推导约束是使LLM生成的科学问题更可审计的有前景机制。
代码、提示、保存的输出和重现脚本可在 GitHub 找到。
博主点评: FirstResearch为科研问答的可审计性提供了强有力的支持,其结构化证书的设计不仅提升了问题的透明度,还为科学发现的过程提供了更高的可信度。这一框架有望在未来引领LLM在科学研究中的应用新方向。