NeFut Logo NeFut
EN 管理员登录

[AI学术] GRaSP:面向跨地域检索增强生成的延迟感知优化

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#algorithm #AI #Machine Learning

GRaSP 是一种针对跨地域云边环境的检索增强生成(RAG)任务的延迟感知优化方法。它在检索管线后加入一个重新打分层,依据网络延迟对相关性进行衰减,并在可选的成本惩罚下满足每区域的文档数量上限和整体基数预算,无需重新训练模型。

我们首先分析了问题的复杂度:在仅考虑基数预算和每区域上限时,目标是分区 matroid 上的线性函数,可通过 O(N log N) 的贪心算法得到全局最优;若再加入固定的出站流量预算,则问题转为 NP‑hard 的背包形式。

实验在 CloudLab 搭建的五节点、四区域 WAN 环境上,使用 Natural Questions(268 万段落)进行评估。结果显示,GRaSP 的收益与文档分布有关:在均匀放置情况下可在几乎不损失召回率的前提下显著降低获取延迟;在类似地域驻留的主题放置下,能够绘制出支配传统仅相关性排序、最近‑k 以及延迟预算基线的召回‑延迟 Pareto 曲线。

在一次适中的延迟阈值下,P90 获取延迟下降 41%,召回率保持 78%(相较仅相关性排序),选择开销低于毫秒,能够稳定支撑 200 QPS。相同趋势在四个公开的 BEIR 基准上复现。端到端问答实验表明,GRaSP 将上下文获取延迟降低 43%,而 EM 只下降 0.062。

总体来看,GRaSP 在保持检索质量的同时,有效抑制了跨地域延迟和成本,适合作为现有 RAG 系统的即插即用模块。点评

原文链接: https://arxiv.org/abs/2610.26938

[h] 返回首页