NeFut Logo NeFut
EN 管理员登录

[AI学术] UniCompress:从多LoRA专家到单一紧凑模型的边缘智能方案

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #optimization

随着嵌入式和边缘系统对视觉语言模型(VLM)需求的增长,传统做法是为每项技能部署独立的任务适配器,这会导致显存占用和管理开销急剧上升。UniCompress 提出一种面向部署的框架,能够把多任务专业知识压缩进一个无适配器的紧凑模型。\n\n框架首先以 BF16 精度的 Qwen3‑VL‑4B 为教师模型,利用 GPTQ 初始化构建一个不对称的 INT2 学生模型。随后在教师的引导下,对视觉编码器和语言骨干的投影权重进行联合量化与恢复,使得整个视觉‑语言网络能够在 INT2 级别实现激进压缩,同时保持原有的多任务行为。\n\nUniCompress 在姿态识别、家庭安全理解、多模态对话路由和移动 GUI 动作预测四个异构任务上进行评估。权重存储从 BF16 的约 8.9 GB 降至 INT2 的 2.1 GB,压缩率约 76%。在宏观任务得分上,INT2 学生比直接 GPTQ‑INT2 提升 34.3 个百分点,且与 BF16 教师的差距不超过 0.9 分。\n\n这些实验表明,教师引导的视觉‑语言联合 INT2 恢复技术能够在资源受限的嵌入式平台上部署单一的多技能 VLM,具备显著的存储与性能优势。\n\n点评:UniCompress 通过跨模态权重的协同量化,实现了前所未有的压缩效率,为边缘智能提供了可行的单模型多任务部署路径。

原文链接: https://arxiv.org/abs/2611.06075

[h] 返回首页