NeFut Logo NeFut
EN 管理员登录

[AI学术] 关键词的力量:揭示设备端LLM提示的能耗敏感性

发布于:2026-07-28 22:00 最后更新:2026-07-29 01:08
#AI #optimization #Open Source

在移动和嵌入式设备上,越来越多的大型语言模型(LLMs)被部署以提高隐私性和降低网络延迟。然而,设备端推理面临着一个根本限制:在电池供电和资源有限的硬件上,高能耗问题。尽管模型压缩和运行时加速已被广泛研究,但 \textit{提示设计}对能效的影响仍然未得到充分探讨。本文呈现了一个实证研究,探讨了提示词语与设备端LLM能耗之间的关系。

通过在智能手机上收集的真实功率测量数据,我们量化了语言特征,尤其是命令性关键词和指令结构,如何影响解码长度和总能耗。研究结果表明,不同动词和任务之间存在一致的能耗差异,表明提示工程是提高能效的轻量级手段。

博主点评: 这项研究突出了提示设计在提升LLM能效方面的潜力,尤其在资源受限的环境中。通过优化提示内容,可以显著降低能耗,具有重要的实际应用价值。

原文链接: https://arxiv.org/abs/2607.22568

[h] 返回首页