NeFut Logo NeFut
EN 管理员登录

[AI学术] PW-Pruning:面向语音的全模态模型相位感知专家选择

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #LLM

稀疏路由能够降低每个 token 的计算量,但完整的专家库仍需常驻内存。针对语音为中心的全模态模型,我们发现传统的池化校准统计会掩盖声学输入处理与文本答案生成对专家的不同需求。为此提出 PW‑Pruning,它是 DO‑ACP 的相位感知扩展:分别为声学前填(acoustic‑prefill)和教师强制答案(teacher‑forced answer) token 构建加权核,然后将相位加权的对数行列式边际增益 $$\Delta_{phase}=\log\det(K_{phase})$$ 合并,以选出一个静态的专家库。实验在 Qwen3‑Omni 上进行,保留每层 128 个专家中的 32 个后,在三次独立运行的监督微调后,MMAU‑mini 与 MMSU 的准确率分别比基于池化的匹配选择提升 3.20% 和 4.38%。单相位和标签打乱的对照实验表明,语义相位信息是性能提升的关键因素。进一步在未公开的 Qwen3.5‑Omni 骨干网以及 Nemotron 的英文零样本评估上得到相似的正向证据。整体来看,在相同的 Qwen 预算下,剪枝力度越大,AU 增益越显著,且无需在推理时切换掩码。

点评:PW‑Pruning 通过显式区分声学与文本相位,实现了在保持模型容量的同时显著削减内存占用,为语音‑文本多模态系统的高效部署提供了新思路。

原文链接: https://arxiv.org/abs/2610.26891

[h] 返回首页