NeFut Logo NeFut
EN 管理员登录

[AI学术] 神经网络损失景观中关键轨道的通用拓扑对称指数

发布于:2026-10-24 22:00 最后更新:2026-10-25 13:04
#optimization #Neural #Artificial Intelligence

神经网络的损失函数由于参数维度极高,其全局结构仍难以系统化理解。网络结构和学习目标天然产生的对称性为研究提供了切入点。已有工作关注这些对称,但对其系统化描述以及由此产生的关键轨道(critical orbits)仍不完整。本文基于等变度理论族构建了一种拓扑对称指数,用以解码任意网络架构下的对称结构,并能处理退化的关键轨道。该指数通过检测临界点的同位群(isotropy)并量化其净拓扑贡献,实现对对称性的定量描述。常用的形式化表达为 $$\mathrm{Ind}_G(f, U)=\sum_{[x]\in \mathcal{O}} \frac{1}{|G_x|}$$,其中 $G_x$ 为点 $x$ 的同位群,$\mathcal{O}$ 为关键轨道集合。我们给出软激活 MLP、Transformer 和等变神经网络等实例,展示了指数的具体计算步骤。

点评

原文链接: https://arxiv.org/abs/2610.28864

[h] 返回首页