在混合专家（Mixture‑of‑Experts，MoE）模型中，专家是否会形成明确的领域专长一直存在争议。已有研究指出专家倾向于特定领域，而另一些分析则认为路由主要受 token 本身或句法模式驱动。为了解决这一分歧，我们提出 Routing‑Aware Magnitude Profiling（RAMP），一种用于在神经元层面度量领域专门化的工具。利用混合领域的校准数据，RAMP 能够识别出在同一领域的多源样本之间有 58%‑74% 的神经元重叠，而跨领域的重叠仅为 15%‑24%。
我们进一步追踪了三类完全开放的 MoE 系列模型在预训练和后训练阶段的神经元重要性变化。结果显示，尽管专家层面的重要性排序相对稳定，神经元重要性在不同预训练检查点之间仍会显著重组；而在后训练阶段，神经元排序基本保持不变。
基于神经元层面的观察，我们提出 RAMP‑based Pruning（RAMPr），在保持多领域能力的前提下对跨专家的神经元进行裁剪。实验表明，在保留 75% 神经元时，RAMPr 能够保持原始模型 91%‑98% 的平均性能；在保留 50% 神经元时，显存占用降低 36%‑43%，批量预填充吞吐量提升 17%‑39%。代码已开源： GitHub。
点评：本文通过神经元级别的细致分析，揭示了 MoE 模型在领域专门化上的真实结构，并提供了实用的裁剪方案，兼顾性能与资源效率，为后续模型压缩与解释性研究提供了重要参考。