NeFut Logo NeFut
EN 管理员登录

[AI学术] 基于强化学习的神经架构搜索用于高效音视频语音增强

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#AI #Machine Learning #Neural

音视频语音增强(AVSE)能够在嘈杂环境中提升语音可懂度,但常依赖计算量大的模型,难以在资源受限的边缘设备上运行。本文提出一种基于强化学习的神经架构搜索(RL‑NAS)框架,用于自动发现紧凑且高效的 AVSE 网络。搜索空间保持音频与视觉流的时间对齐,奖励函数同时考虑 SI‑SNR 提升和模型紧凑度。采用近端策略优化(PPO)并结合约束感知的动作屏蔽,仅评估 35 种候选结构,即可找到参数量为 2.9M 的模型,而基线模型为 22M 参数。该模型实现 14.5 dB 的 SI‑SNR 提升,仅比基线低 0.7 dB,同时将模型体积压缩约九倍。移动端 CPU 实验显示实时因子降低 4.3 倍,验证了实际设备部署的可行性。与随机搜索相比,RL‑NAS 的搜索效率提升 92%。架构分析表明,使用更浅但更宽的时间卷积块以及对视觉通路进行激进剪枝,可在保持增强性能的前提下显著降低计算开销。

点评:该工作展示了强化学习驱动的 NAS 在多模态语音增强领域的潜力,为轻量化、可部署的模型提供了有效路径。

原文链接: https://arxiv.org/abs/2610.12796

[h] 返回首页