在嵌入式硬件上进行边缘物体检测需要在推理延迟和检测质量之间进行平衡,尤其是在资源压力变化的情况下。我们提出了RAMS,一个轻量级的运行时控制器,能够监控设备压力,从空闲状态中校准切换阈值,并在三种YOLOv8模型(NANO/SMALL/MEDIUM,分别为320/416/640 px)之间动态选择,而无需模型重载延迟。RAMS定义了五种切换策略,其中包括两种检测条件变体,防止在近期脆弱道路用户(VRU)检测后发生激进降级。
我们进一步引入了VRU加权准确性评分(SWAS),这是一种用于离线政策比较的标量指标,无需真实标注,此外,还有一种界限型变体,用于将检测器的循环性与真实的层级保留收益分开。在Raspberry Pi 5、x86笔记本和Jetson Orin ONNX/TensorRT部署上,相同的控制器方程在37倍的延迟范围内运行。在Jetson Orin TensorRT的重负载下,safety2策略实现了3.41毫秒的平均延迟,比固定MEDIUM推理快5.6倍,同时在VRU阳性窗口期间保持74%的代理准确性,通过选择性的小型和中型锁实现近NANO操作。检测条件切换在重负载下相对于仅阈值政策,SWAS提高了25.4%(在oracle评分下)和47.3%(在检测器派生评分下)。实时KITTI评估报告显示每层VRU召回率分别为24.2%、41.2%和59.0%,这表明反应性覆盖的根本限制在于基线检测器的召回率。
博主点评: RAMS技术通过动态模型切换有效降低了边缘设备的推理延迟,同时提升了检测精度,尤其在资源受限的环境中展现了出色的性能。其创新的VRU加权准确性评分为政策比较提供了新思路,值得在未来的嵌入式AI应用中借鉴。