分层推理把大模型计算分配到设备层级,从本地到边缘再到数据中心,以降低成本、延迟并提升隐私。大多数系统使用冻结的模型检查点,并通过前置模型输出的置信信号决定本地处理还是上报。本文给出一个闭式条件,说明在何种情况下不存在任何置信阈值能够使层级级联优于直接把所有查询发送到后备模型。我们把路由决策抽象为二元检验,并用架构成本比 $\kappa$ 将本地计算成本与上报成本分离,得到一个可行性区间:在信号完全无效的下限以下,任何信号质量下级联都是可行的;在信号完美的上限以上,则不存在可行的级联。沿 $\kappa$ 轴阅读,条件会翻转:当本地计算计费时,成本成为限制因素,这与近期实证发现一致;当本地计算成本已沉没(去中心化硬件),可行性无条件成立,信号质量决定级联能实现的收益。我们将该条件转化为三条设计要求,现有的训练原语只能单独满足其中一条。我们提出未来的共设计架构和测试协议。值得注意的是,条件本身及其翻转与具体架构无关,是本文的核心贡献。
点评:该工作提供了理论上判断分层LLM推理可行性的简洁准则,为系统设计提供了明确的方向,尤其在成本模型不同的场景下揭示了信号质量与成本的交互作用。