本文评估了一种 explore‑then‑commit 协议,用于在科学定律发现任务中高效选择测量并生成 governing equation。协议包括三步:
- 大语言模型(LLM)提出若干假设;
- 程序化规划器根据假设安排测量批次并收集数据;
- 使用全新提示将固定观测结果合成为最终定律。
协议的关键设计包括结构化探测、自动数值诊断、受限的测量批次以及可选的解释器访问。实验在 NewtonBench 上进行,共 576 次试验,覆盖 12 个物理模块,使用 GPT‑4.1‑mini 与中等难度的 GPT‑4.1 复制模型进行比较。
在中等难度任务中,启用解释器的规划器平均每次试验使用的测量次数为 8.6(GPT‑4.1‑mini)和 8.9(GPT‑4.1),显著低于未启用时的 22.5 与 43.0。对应的基于幅值的均方根对数误差($RMSE_{log}$)分别从 2.514 降至 0.202(GPT‑4.1‑mini)和从 0.626 降至 0.149(GPT‑4.1)。
额外的审计保留了不完整和无效提交,以进行覆盖敏感分析。符号准确率的提升在不同模块间并不完全一致,随机采集在与不一致度评分比较时表现出竞争力。虽然每个模块均出现测量节省,但批次大小不均导致难以单独归因于采集质量。
总体而言,完整协议展示了在无噪声直接方程任务中的测量效率优势,但其因果成分及在更广泛、噪声环境下的泛化能力仍有待进一步研究。
点评