单脉冲神经网络的输入空间可以划分为因果片段，已有研究表明因果片段的数量为某些网络的近似误差提供了下界。然而，能够实现的因果片段上限仍未明确。本文给出两类互补的上界。第一类是基于多伯努利数的组合上界，适用于广泛的脉冲神经元模型。该上界的数量级为 $$e^{2(L-1)N\log N+\mathcal{O}(N)}$$，其中 $L$ 为网络深度，$N$ 为最大层宽。第二类针对特定神经元模型，利用超平面排列得到上界。对非泄漏积分-发放模型（指数突触）和 ReLU 型脉冲响应模型，得到的上界为 $$\mathcal{O}\bigl(N^{(4L-3)(N_0-1)}\bigr)$$；对泄漏积分-发放模型（Dirac-δ 突触），上界为 $$\mathcal{O}\bigl(N^{L(N_0-1)}\bigr)$$，其中 $N_0$ 为输入维度。对于非泄漏积分-发放模型（Dirac-δ 突触），利用额外的时间结构可将一般组合上界进一步收紧，仅依赖于 $N_0$，与网络深度和宽度无关。
点评