我们提出了PEEK,一种轻量级的调度与驱逐框架,适用于在线(流式)和离线(批处理)LLM服务;本文重点关注在线模式。PEEK维护一个增量基数树,覆盖待处理队列,暴露出当前任何引擎都无法呈现的前缀共享集群。一个低开销的双步匹配算法将树与引擎的前缀缓存进行匹配,以便为每一个等待请求产生最长前缀匹配;接着,PEEK优先接受集群先驱,使得同属的请求能够继承新缓存的前缀。此外,一个共同设计的驱逐钩保护了与排队需求相关的块,且一个多通道步幅调度器限制了饥饿现象。在SGLang和vLLM的五个工作负载上,使用高达4$\times$H100(DP=2,TP=2),PEEK在每个引擎最强基线(SGLang/vLLM)上实现了高达3.0$\times$/2.6$\times$的缓存命中率,7.9$\times$/7.1$\times$的TTFT,6.7$\times$/5.5$\times$的E2E和3.6$\times$/4.5$\times$的吞吐量提升,而在没有可利用前缀结构的工作负载上则与基线保持一致。随着KV缓存压力和推理并行性的增加,性能提升依然显著。