在移动和嵌入式设备上,越来越多的大型语言模型(LLMs)被部署以提高隐私性和降低网络延迟。然而,设备端推理面临着一个根本限制:在电池供电和资源有限的硬件上,高能耗问题。尽管模型压缩和运行时加速已被广泛研究,但 \textit{提示设计}对能效的影响仍然未得到充分探讨。本文呈现了一个实证研究,探讨了提示词语与设备端LLM能耗之间的关系。
通过在智能手机上收集的真实功率测量数据,我们量化了语言特征,尤其是命令性关键词和指令结构,如何影响解码长度和总能耗。研究结果表明,不同动词和任务之间存在一致的能耗差异,表明提示工程是提高能效的轻量级手段。
博主点评: 这项研究突出了提示设计在提升LLM能效方面的潜力,尤其在资源受限的环境中。通过优化提示内容,可以显著降低能耗,具有重要的实际应用价值。