本文介绍了ARGO,一个智能眼镜平台,旨在实现人体工学舒适性、高计算吞吐量与能效的平衡。与依赖云计算的解决方案不同,ARGO利用STM32N6微控制器及其集成的神经处理单元(NPU)来实现本地机器学习,降低延迟并通过本地数据处理保护用户隐私。
主要贡献在于硬件、固件与人工智能的整体协同设计,重点部署了优化的YOLOv11模型以实现实时城市障碍物识别。为了确保与目标NPU的兼容性,我们引入了头部并行注意力(Head-wise Parallel Attention, HPA),这是一种架构改进,能够高效执行加速器,同时保持原始计算逻辑。
该模型在“Walking On The Road” (WOTR) 数据集上进行训练,最终部署的配置在严格的内存限制下实现了mAP50-95为24,内存占用仅为2.483 MB。该平台集成了多模态传感器套件,包括RGB摄像头、飞行时间传感器、麦克风和环境传感器,并在200 mAh电池下提供10 FPS的性能,持续工作时间约为113分钟。
这些结果展示了一种高性能、保护隐私且社会可接受的辅助设备的可行性,强调了竞争性AI解决方案日益需要紧密集成的多学科协同设计方法。
博主点评: ARGO平台的设计通过本地处理与多模态传感器的结合,展示了未来智能设备的潜力。它不仅提升了用户体验,还在隐私保护方面树立了新的标杆,值得关注。