NeFut Logo NeFut
EN 管理员登录

[AI学术] 线性可访问性的高概率保证:特征叠加视角

发布于:2026-09-12 22:00 最后更新:2026-09-15 01:15
#Machine Learning #Neural #Artificial Intelligence

神经网络可以利用特征叠加在维度数目之外编码更多概念,但交叉特征干扰限制了同时激活特征的线性可访问性。

将线性可访问性建模为压缩感知问题后,针对固定支持集合在次高斯噪声下推导出高概率界。证明只要维度 $d$ 满足 $d=O_{\varepsilon}(k\log m)$ 即可保证线性可恢复,显著优于以往最坏情况的二次上界 $O(k^2)$。

进一步通过高斯尾部近似对不同系统参数进行数值验证,结果与理论界限吻合。

这些发现为线性表征假设的几何约束提供了可量化的描述,可用于评估稀疏自编码器、组合泛化能力以及神经网络可解释性等研究方向。

点评

原文链接: https://arxiv.org/abs/2609.09556

[h] 返回首页