NeFut Logo NeFut
EN 管理员登录

[AI学术] SafeStart:缓解 MoE 大语言模型服务中活跃专家削减的安全成本

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #LLM

Mixture‑of‑Experts(MoE)语言模型在生成每个 token 时只激活少数专家子网。为提升吞吐,服务框架会进一步削减每个 token 使用的专家数量,并在标准准确率基准上验证其效果。我们发现,这类削减会削弱模型对有害请求的拒绝能力。为此提出 SafeStart:在保持大部分加速的前提下,显著恢复拒绝行为。\n\n在一块 RTX A6000 上使用 vLLM,保留约三分之二的选中专家可使离线解码在 batch=8 时提升 15%‑28%。在一次让模型不拒绝的 jailbreak 场景下,Qwen1.5‑MoE、OLMoE、DeepSeek‑V2‑Lite 三个模型的有害请求响应率分别上升 18.4、9.5、6.6 个百分点,而 MMLU 准确率下降不足两分。进一步分析表明,增长主要发生在处理提示和生成前几 token 时。\n\nSafeStart 的做法是:对提示以及前八个生成 token 使用全部专家,其后再切换到精简专家集合,并通过 vLLM 的融合 kernel 实现。实验显示,在 batch=8 与 32 时,离线解码加速仍保持至少 85%,三种专家削减方法在上述三模型上的安全变化介于 -2.1 到 +1.3 分之间。对 889 条未见请求的离线分析表明,截断会使有害合规性提升 5.8‑21.4 分,而 SafeStart 只导致 0.6‑2.6 分的提升,且在两模型上不逊于原始模型。\n\n我们的结论是:加速 MoE 服务不必以安全为代价。只要在每次响应的开头运行全部专家,并在部署前评估拒绝率而非单纯准确率,就能兼顾速度与安全。\n\n点评:SafeStart 在保持显著加速的同时,有效抑制了因专家削减导致的安全退化,为实际部署提供了可行的安全保障方案。

原文链接: https://arxiv.org/abs/2611.06147

[h] 返回首页