摘要
基于人工神经网络的 AI 系统正在被开发，以推动人类数学知识的边界。一个关键问题是这些系统能够超越其训练数据的程度。数学发现需要强大的超出分布的泛化能力，即假设真正新的、可能在逻辑上更强大的数学结构的能力。有人假设，语言能力支持人类认知中的此类泛化。
在这项研究中，我们以简单的算术为案例，考察现代 AI 模型如何扩展其数学视野，评估这些模型是否能独立发现“零”的概念。我们发现：
- 大小相当于 GPT-2 的语言模型在测试时无法进行这种泛化，无论语言预训练如何；
- 然而，模型在经过数十或数百个零的样本训练后，表现出显著的改善。
此外，我们发现语言预训练将所需示例的数量减少了大约 $50\%$，这表明语言能力可以在神经模型中支持数学发现。
博主点评： 这项研究揭示了语言模型在数学探索中的潜力，尤其是在发现新概念方面。尽管当前模型在某些任务上受限，但通过合适的训练和预训练，可以显著提升其能力。未来的研究可以进一步探讨如何优化模型以实现更多的数学发现。