摘要
设计现代深度学习的优化器仍然是一个具有挑战性的科学问题，需要考虑优化几何、状态动态、数值稳定性、实现约束和经验泛化等多个因素。现有的自动优化器发现方法通常要么在不受约束的代码空间中搜索，要么在狭窄参数化的优化器家族中进行搜索。前者灵活但常常产生无效或不可解释的程序，而后者稳定但限制了创新性。
我们引入了 OPTScientist，一个基于理论指导的多代理框架，用于在类型化领域特定语言（DSL）中发现优化器。OPTScientist 将优化器设计形式化为一个受限的科学搜索过程，其中候选更新通过方向、缩放、预调节、正则化、状态和分组模块表示。四个角色代理——理论家、设计师、工程师和评审者——在一个单一的协调循环中协作，提出假设、合成 DSL 候选、编译和评估优化器，并批评结果。
为了克服固定搜索空间的局限性，OPTScientist 将优化器程序的进化搜索与第二阶段机制相结合，该机制在重复失败时提出小的 DSL 扩展以揭示表示瓶颈。通过该框架，我们发现了 RS-MR，一种减少状态的矩阵优化器，在我们本土评估协议下改善了变压器预训练的表现，超越了强基准。我们的结果表明，朝着基于理论、类型化程序、编译器验证和闭环实验的自动优化器科学的发展方向迈出了重要一步。
博主点评： OPTScientist 的多代理框架为优化器的设计引入了新的视角，通过理论指导和多角色协作，推动了优化器科学的发展。它不仅解决了现有方法的局限性，还为未来的研究提供了新的方向，尤其是在深度学习领域的应用潜力上。