本文提出垂直自适应层跳过(VALSE)用于提升大模型推理效率。首先建立理论框架,证明三条核心结果:① 定理2给出期望 FLOPs 的闭式,描述任意样本跳过调度的计算成本,依赖层跳过概率;② 定理10和定理11表明跳层模型的函数空间是完整空间的真子集,但仍能有效近似,并给出分离例子;③ 命题6揭示 VALSE 与 Mixture‑of‑Experts 的结构对偶,垂直深度稀疏对应水平宽度稀疏的正交关系。基于此,提出具体方法:在前几层使用轻量难度估计器为每个输入打分,随后每层门控决定是否跳过,可跳过任意中间层且保留更深层,确保仅激活必要深度。原型实验在小规模模型上验证可行性。
点评