随着大型语言模型（LLMs）的广泛部署，推理成本成为了一个关键挑战。引入稀疏性到权重矩阵的剪枝技术能够加速推理。然而，保持模型质量通常限制了剪枝到中等非结构化稀疏性（约50%）。在这些稀疏水平下，现有的稀疏矩阵乘法（SpMM）GPU内核无法超越其密集版本。
本文提出了一种高效的GPU推理方法，专为具有中等稀疏性的LLMs设计。我们提出了一种三层矩阵存储格式，包括：
(i) Sparse-TC层，利用稀疏张量核心加速SpMM；
(ii) Slot-Filling层，使用并行差分距离进行矩阵压缩，同时支持低成本的片上解码；
(iii) 轻量级Residual层，确保SpMM计算的正确性。
基于此格式，我们设计了一种SpMM内核，联合利用稀疏张量核心和CUDA核心。这一设计实现了高效的执行管道，并重叠片上计算与内存访问。评估结果表明，我们的工作首次在配备高带宽内存（HBM）的现代GPU上超越了密集矩阵乘法，达到比SpInfer（EuroSys'25，最佳论文）快1.64倍的内核级加速，以及比FlashLLM（VLDB'24）快1.41倍的端到端加速。
我们的源代码：GitHub。
博主点评： 本文提出的三层矩阵存储格式和新的SpMM内核设计有效解决了LLMs推理中的稀疏性问题，展示了GPU推理性能的显著提升，具有很好的实用价值和理论意义。