在资源有限的情况下，本地-云协作是一种有效部署大型语言模型的方法，但现有方法通常依赖于训练过的路由器或协作感知的微调，这将路由行为与特定的操作模式绑定在一起。
本文展示了这样的训练可能是不必要的：本地模型在推理时对采样响应的一致性提供了强有力的信号，用以决定何时信任本地执行，何时将任务卸载到更强大的云模型上。
我们提出了 CARGO，这是一个无需训练的路由框架，通过变化提示的采样来估计这种一致性，应用贝叶斯早停以实现样本效率的控制不确定性，并支持通过轻量级的部署时间校准来实现任意目标协作比率。
在多样的推理和问答任务中，不同的本地 LLM 家族与规模，以及预训练和微调的本地模型，CARGO 的表现始终优于其他无训练基线，并在多个场景中超过了监督学习的路由器。
这些结果表明，有效且可适应的本地-云协作可以直接从本地模型的内在响应行为中涌现，而无需额外的训练路由器。
博主点评： CARGO 的提出颠覆了传统依赖训练模型的路由思路，充分利用了本地模型的自我反馈机制，展示了在资源受限环境中如何高效利用云计算资源。这一框架的灵活性和高效性为未来的 LLM 部署提供了新的思路，值得关注。