AlphaIdeaBench 提供了 100 条研究思路生成任务，其中 50 条来自会议征稿，另外 50 条来源于调查中的开放问题。每条任务都附带明确的算力、API 额度和时间预算，并使用统一的提案模板。我们构建了一个基于 LLM 的评审模型，对每份提案在有效性、创新性和可行性等 12 维度进行打分。
为了验证评审模型的可靠性，我们将其在四个创新维度（问题、方法、场景、洞见）上的得分与 ICLR 2026、NeurIPS 2025、ICML 2025 共 600 篇论文的审稿意见得分进行对比。结果显示，在问题和方法创新上，Gemini 3.7 Flash 与审稿得分的差距不超过 1 分，覆盖率达 94%~97%；场景创新的匹配度相对较低。
我们在同一底层模型上评测了八种公开的思路生成框架，并在其中一个框架内部进一步比较了八种不同的骨干 LLM。CoI-Agent 获得最高综合得分，略胜 SciMON；后者在方法和洞见创新上表现最佳。所有框架在场景创新上得分普遍偏低，且很少改变原始问题设定。实验表明，骨干模型决定了提案针对的开放问题，而框架则影响提案是聚焦单一问题还是组合多个问题。弱骨干模型如 Llama 4 Scout 无法实现框架的策略，预算可行性得分也较低。
进一步的预算实验在三个主题上仅调节预算规模。对计算密集型主题，增大预算会改变实验设置；对低成本主题，仅增加了少量测试。我们已公开全部任务、评分细则和得分结果，以促进在资源约束下的研究思路生成代理的标准化、可复现评测。
点评