强化学习(RL)能够在嵌入式、边缘和异构计算系统中实现自适应自主决策。FPGA 与 ASIC 提供低时延、能效和架构灵活性,适合部署 RL,但也带来资源受限、实现复杂和硬件‑算法协同设计的挑战。
本文综述了 100 多篇在 FPGA 与 ASIC 上实现 RL 的研究,重点关注体系结构、实现策略、性能评估和应用场景。文献按 RL 家族划分,包括基于模型的马尔可夫决策过程、经典值函数方法、深度 RL、actor‑critic、策略梯度和多智能体方法,并进一步按抽象层次、硬件实现方式和应用领域进行分类,分析算法在可重构与固定硬件上的映射方式。
不同于仅聚焦特定算法或平台的调研,本文提供了 FPGA 与 ASIC 实现的统一分析,涵盖加速、可重构架构、能耗感知控制和系统级优化。比较指标包括资源利用率、时延、吞吐量、功耗以及报告的性能提升。
最后,本文归纳出常见的架构模式、实际限制、未解挑战和未来研究方向,为在专用硬件上开发与评估 RL 方案提供参考。
点评