神经网络可以利用特征叠加在维度数目之外编码更多概念,但交叉特征干扰限制了同时激活特征的线性可访问性。
将线性可访问性建模为压缩感知问题后,针对固定支持集合在次高斯噪声下推导出高概率界。证明只要维度 $d$ 满足 $d=O_{\varepsilon}(k\log m)$ 即可保证线性可恢复,显著优于以往最坏情况的二次上界 $O(k^2)$。
进一步通过高斯尾部近似对不同系统参数进行数值验证,结果与理论界限吻合。
这些发现为线性表征假设的几何约束提供了可量化的描述,可用于评估稀疏自编码器、组合泛化能力以及神经网络可解释性等研究方向。
点评