NeFut Logo NeFut
EN 管理员登录

[AI学术] RECAP:面向多模态推测解码的上下文感知预测回收与请求本地及持久记忆

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#algorithm #Machine Learning #Neural

回收目标模型自身的预测可以为推测解码提供无需训练的提案。在视觉语言模型中,现有的回收方法仅以最后一个 token 为键索引预测,导致在不同图像和前缀下计算的预测被混淆;我们发现这种复用在图像敏感的解码状态下失败率最高。使用更长的键可以降低别名冲突,但匹配的状态更少。为此我们提出 RECAP(\method),它在一、二、三 token 键下存储目标预测:请求本地记忆仅在当前请求内存在,天然受该请求的图像条件;而 token 级别记忆跨请求持久保存,以提升覆盖率。每次查询时,基于熵‑置信度的加权将检索到的预测按键的特异性和集中度进行融合。随后采用最佳优先搜索将融合后的转移构建为候选树,并补充后缀匹配的续写;最后一次目标模型的贪婪解码验证整棵树。该方法无需额外训练或草稿模型,在七个单轮基准上对 Qwen2.5‑VL‑7B 与 LLaVA‑1.6‑7B 实现平均加速 $1.66\times$ 与 $1.56\times$,优于最强的无训练基线 Token Recycling($1.51\times$ 与 $1.37\times$)。代码已开源:https://github.com/Senmo996/RECAP-official-code。

点评:RECAP 通过细粒度键和双层记忆机制,有效缓解了跨图像预测冲突,在保持零训练成本的前提下实现了显著的推理加速,展示了预测回收在多模态推测解码中的实用价值。

原文链接: https://arxiv.org/abs/2611.05894

[h] 返回首页