多标记预测（MTP）通过一次前向传播草拟多个 token 并在目标模型一次验证中批量确认，从而加速语言模型解码。草拟的长度（即 speculation horizon）在不同上下文中表现不同：较长的草拟在可靠时能带来更高的摊销收益，但若被拒绝则会浪费计算资源。与自回归草拟可以逐 token 决定停止不同，MTP 必须在草拟前固定 horizon，因为所有 head 在同一次前向传播中同时激活。
为此我们把 horizon 选择建模为在线控制问题，利用验证反馈学习每个上下文中草拟可信的最大长度，并提出 Adaptive Multi-Token Prediction（AMTP）。AMTP 是一个轻量级控制器，无需重新训练模型，也不改变验证器的实现。
在每轮草拟前，AMTP 预测草拟前缀被完整接受的概率（acceptance survival），据此计算不同 horizon 的期望每秒提交 token 数，并选择期望最高的 horizon。该过程在每次验证后自动更新学习参数，实现完全自由的在线学习。
理论上，我们证明任意在线学习器的预测误差会转化为相对于每个上下文最佳 horizon 的吞吐量 regret，进一步界定整体墙时完成时间的上界。使用在线梯度下降（OGD）作为学习算法时，regret 为次线性增长。
实验在五组基于 Llama‑3.1‑8B‑Instruct（配 Medusa heads）、Meta MTP 系列以及 Qwen3‑4B‑Inst‑2507‑MTP 的草拟‑目标配对上进行，评测数据集为 AIME 2025 与 GSM8K。结果显示，AMTP 在所有设置中最高可比标准解码快 4.1 倍，并在 10 项实验的 8 项中匹配或超越固定窗口的表现，吞吐提升最高达 10%。
点评：AMTP 通过在线自适应 horizon 选择，兼顾了计算效率与可靠性，在不改动底层模型的前提下实现了显著加速，展示了在线控制在大模型推理优化中的潜力。