在移动设备上部署大型语言模型（LLMs）可以增强隐私性并减少延迟，但硬件效率的不足严重制约了其性能。我们首次进行了一项全面的跨层测量研究，分析了移动LLM推理，涵盖了五个主流框架（如 llama.cpp、GENIE）和三种硬件后端（CPU、GPU、NPU）。为此，我们开发了 PowerBench，这是一款细粒度的分析工具，提供了首个后端特定的能量归因，超越了传统的设备级测量。
我们的研究得出了三个关键见解：
-
框架引起的性能差距在NPU上的放大程度显著，使用自定义操作符时可达10倍，原因在于不同的卸载和量化策略。
-
我们识别出NPU在计算密集型的预填充阶段表现优异，而在内存密集型解码阶段，CPU则优于所有其他后端。这是因为NPU偏好大型固定形状的工作负载，与小内核、动态性质的解码存在冲突。
-
后端特定的分析揭示了之前研究中错过的显著调度余地。次优的线程配置、未协调的NPU休眠延迟和CPU轮询间隔导致了高达40%的能量浪费。
基于这些发现，我们提出了一种面向能量的最佳配置方案用于移动LLM推理。我们估计，这种配置可以在NPU后端上减少多达54.8%的能量消耗，适用于三种数据集。
博主点评： 本文深入剖析了移动设备上LLM推理的性能瓶颈，尤其是在NPU的使用上，提供了切实可行的优化建议。PowerBench工具的开发为后续研究和实际应用提供了重要基础，具有显著的参考价值。希望未来能有更多针对不同硬件架构的定制化优化方案出现，推动LLM的广泛应用。