摘要
视觉语言模型（VLMs）是具身AI的感知基础，但它们在边缘硬件上的能耗仍然不够清晰。现有的效率研究主要集中在减少视觉token，隐性地认为视觉处理是主要的能耗来源。我们通过首次系统的设备端VLM推理能耗分析，推翻了这一假设，涵盖了五种模型、三种架构系列、四种输入分辨率和两种硬件平台（NVIDIA RTX 3070和Jetson Orin NX）。
主要发现
-
模型内部常数：平均推理功率是模型固有的常数，与输入分辨率、图像复杂性和提示类型无关，所有条件下的变化不足5%。这意味着输入间的能量变化必须源于推理时间的变化，而非功耗。
-
输出token的成本：每个输出token的墙钟时间比每个输入token高出11到39倍，这源于预填充和解码之间的计算和内存不对称，使得输出token数量成为延迟和能耗的主要驱动因素。
-
图像复杂性影响：图像复杂性（通过图像中的对象数量衡量）在相同分辨率下可引起多达4.1倍的能耗差异。这种变化不是由于视觉处理成本的增加，而是由于输出长度的差异。
这些发现揭示了视觉token修剪的基本局限性：即使移除所有视觉token，对于固定token模型，最多只能节省10%的总能耗。在跨越10亿到80亿参数的模型中，控制输出长度能节省多达97%的总能耗，随着模型规模的增大，解码的能耗主导性愈加明显。简而言之，边缘VLM推理中的真实能耗瓶颈不在于模型所见，而在于它所说的内容。
博主点评： 本文的研究揭示了边缘计算中VLM能耗的深层次问题，强调了输出在整个推理过程中的重要性。随着AI模型规模的增大，优化输出长度的策略将成为提升能效的关键，这为未来的模型设计提供了重要的指导方向。