我们推出 Astro2Method，一个针对天文学中机器学习方法选择的基准。该基准收录了 500 条经专家审阅的二元选择题，来源于 346 篇 2024/01‑2026/06 期间的天文论文。题目分为两类：(\text{Easy})——作者给出明确的性能差异并提供完整解释；(\text{Hard})——仅给出部分解释或仅凭实验描述进行判断。
在五种主流 LLM 上直接提示的表现为：(\text{Easy}) 题目准确率 87.50%‑92.55%，而 (\text{Hard}) 题目仅为 58.87%‑64.52%。进一步尝试了基于历史论文的检索增强生成（RAG）以及多种带推理或检索的代理方法（包括 ReAct、Self‑Ask、CRITIC），结果并未出现一致性提升。
只有在代理能够检索到原始来源论文时，网络搜索才显著提升准确率；否则提升不明显。另一个实验是提供源论文的实验流程描述并将具体方法名称掩码，结果在 (\text{Hard}) 题目上显著提升，甚至超过了网页搜索的效果。
这些发现表明：实验细节信息对区分机器学习方法至关重要，但让 LLM 从相关研究和领域知识中自行推断这些信息仍然困难。
点评