NeFut Logo NeFut
EN 管理员登录

[AI学术] BlockLock:可复现的 LLM 推理与固定批次几何

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#Machine Learning #optimization #LLM

BlockLock 提出一种在保持共享批量 prefill 的前提下,仅固定受保护请求的数值路径,实现可复现的 LLM 推理。它提供两种模式:BlockLock‑Rows 使用固定宽度的行结构,保留所有请求的批量解码;BlockLock‑Pack 在末端加入孤立的 dummy 段进行打包,仅提取受保护请求的 KV 状态用于目标解码。根据每次部署的合同约定,两种模式均能在伴随请求变化时保持目标请求的输出位相同。实验在五个密集模型(Qwen3‑8B/14B、Llama‑3.1‑8B‑Instruct、Gemma‑3‑4B/12B‑IT)以及三种单 GPU(A6000、A100、H100)上进行,覆盖 tinyBenchmarks 与 BFCL,并给出两卡 Tensor‑Parallel 初步结果。所有测试中,两种模式均保持目标序列和 Top‑20 logits 位不变。 在等效工作量下,BlockLock‑Rows 相比 vLLM Batch‑Invariant 将延迟降低 53.5%‑55.0%,吞吐提升 115.2%‑122.2%。 与批量不变内核相比,它无需自定义 kernel,仅约束受保护请求。 点评:BlockLock 在不牺牲共享预填充计算的情况下,实现了高效且可复现的推理,为实际部署提供了更灵活的性能‑一致性权衡。

原文链接: https://arxiv.org/abs/2611.06977

[h] 返回首页