在数学领域,大型语言模型(LLMs)展现出了解决开放问题的潜力。然而,针对真实世界的数学实践,代理工作流的优化可以进一步提升其性能。为此,我们推出了ProofCouncil,这是一种旨在解决开放问题的数学代理,采用了作者-评论者架构。
ProofCouncil参与了第二批FirstProof挑战,需独立解决10个真实世界的数学问题。在10个问题中,ProofCouncil的6个提交被评审认为正确,仅需小幅修订,表现优于其他参与团队。
我们还对ProofCouncil在30个来自数学研究者的开放问题上进行了评估。在21个获得人类反馈的解决方案中,5个被判定为完全正确,2个被评估为有前景但需最终验证,另外8个则包含有用的部分进展。
本文简要描述了ProofCouncil的开发及其使用的代理构建库,并将其作为开源项目发布给社区。
博主点评: ProofCouncil的成功展示了LLMs在数学领域的应用潜力,尤其是在解决复杂问题时,通过代理机制的引入,能够更接近真实的数学研究过程,这为未来的数学自动化提供了新的思路和工具。