Fast LapSum 是一种新的、精确的软 Top-k 原语,其 GPU 求解器在排序后运行时间为线性时间。不同于之前的线性时间方法,如 DFTopK,它放松了归一化约束,Fast LapSum 是我们所知的第一个在保持精确选择质量 $k$ 的同时仍然是端到端可微分的方法。我们的求解器结合了线性时间阈值计算和分析向量-雅可比乘积,对于极端规模,采用概率分区对带噪核得分的不确定中间带进行排序。结果是开销几乎可以忽略不计:求解器处理 $10^6$、$10^7$ 和 $10^8$ 个得分分别需要 $0.41$、$1.15$ 和 $5.23$ ms。这使得精确软 Top-k 对于稀疏路由、检索和大规模优化变得可行。我们在两个需求苛刻的应用中展示了 Fast LapSum:在训练循环内生成超像素稀疏对抗示例,具有大约图像像素的 ${\sim}0.02\%$ 精确软预算,实现了与最先进方法相比的十倍速度提升,并从头训练一个完全可微分的稀疏图像编码器。 博主点评: Fast LapSum 的提出解决了大规模稀疡计算中的一个重要问题,其精确的软 Top-k 操作和高效的 GPU 求解器使其在多个应用中展现出巨大的潜力。