本研究评估了六种 AI 工具在文献综述四个关键阶段的表现：检索相关文献、解读文献内容、跨文献综合以及提出后续研究方向。基准数据来源于一篇已发表的关于西班牙羽流天气模式的综述，包含 102 篇原始论文。\n\n在首次检索阶段，五个工具共发现 57 篇文献，单个工具最高发现 42 篇。为 Codex 提供机构图书馆访问后，检索数量从 42 增至 82 篇；为 Claude Code 提供同等访问后，从 15 增至 79 篇。\n\n在拥有完整 102 篇 PDF 的前提下，三款工具能够全部识别出 18 篇对西班牙羽流有实质性讨论的论文，但对其余 84 篇提及的实质性判定错误率在 40% 至 79% 之间。\n\n同样的三款工具生成的综合报告由两位领域专家盲评。报告整体准确，但洞察有限，偶有不支持的断言、引用错误以及对共识的夸大描述。\n\n在提出研究方向时，所有工具均给出超出西班牙羽流文献范围的建议，只有两款工具的方向与基准综述中提出的问题相吻合。\n\n没有任何单一工具在所有任务上表现最佳。基于实验结果，本文给出八条使用 AI 工具进行文献综述的建议，强调在有机构访问时 LLM 可辅助文献发现与解读，但在证据评估与研究综合方面仍需专家判断。\n\n点评