边缘 NPU 的实际性能受硬件、模型转换以及整体部署流水线共同影响。为量化这些因素，我们提出一种基准方法，将实验分为三种配置：Baseline、仅 NPU 的供应商引导优化 (VG-NPU) 和端到端的供应商引导优化 (VG-E2E)。VG-NPU 在保持模型输入输出和主机侧处理不变的前提下，只使用供应商提供的 NPU 编译器；VG-E2E 则完整遵循供应商的原生部署流程，包括模型切分、量化、调度等。
我们在四款主流边缘 NPU 上，选取三类视觉任务进行评测。结果显示，在 12 组 NPU-任务组合中，VG-NPU 在 10 组提升了准确率和运行时调用延迟；VG-E2E 在所有组合上均降低了系统级延迟，但仅在四组上提升了准确率。值得注意的是，NPU 级别的性能排序并不一定对应系统级排序，VG-E2E 相比 VG-NPU 还能再降低 10.4%–70.7% 的系统延迟。
这些发现表明，在比较异构商业边缘 NPU 平台时，必须分别在受控的模型转换层面和完整部署层面评估供应商引导的优化，以获得更可靠的性能结论。点评