摘要
我们提出了一种新颖的方法，用于深度可微逻辑门网络（LGNs）和查找表网络（LUTNs）的部分和全连接优化。我们的训练方法利用每个门/查找表（LUT）输入引脚上的连接概率分布，选择具有最高价值的连接，同时并行学习最佳的门类型或LUT条目。
我们展示了连接优化的LGNs在Yin-Yang、MNIST手写数字和Fashion-MNIST基准测试中的表现优于标准固定连接的LGNs，同时所需的逻辑门数量仅为其一小部分。在MNIST数据集上，我们在8000个门的两层网络中达到了98.92%的准确率；而在仅使用一层8000个门的情况下，我们也获得了98.45%的准确率，显示出与固定连接LGNs相比，我们的方法几乎减少了50倍的门数。
通过采用高学习率、直通估计器和修剪常量输出门类型，我们确保了模型在多达十层的训练稳定性。此外，我们还提出了一种LUT神经元描述，能够在反向传播中实现稳定训练，经过测试可达6层深的网络。该模型需要的可训练参数比固定连接LGN训练算法少四倍，且仍然实现了更高的准确率。我们的连接训练算法同样适用于LUTNs，在2000个6输入LUT的双层网络中取得了98.88%的准确率。
博主点评： 本文提出的优化方法在逻辑门网络和查找表网络的领域具有重要的前瞻性，显著提高了准确率并减少了计算资源的需求，展示了深度学习与逻辑优化结合的潜力，值得在实际应用中进一步探索与验证。