NeFut Logo NeFut
EN 管理员登录

[AI学术] 在5G用户面上将AI推理暴露为电信网络API

发布于:2026-10-16 22:00 最后更新:2026-10-18 08:05
#AI #Machine Learning #optimization

支持边缘人工智能(AI)推理作为网络服务面临两大难题:移动系统虽能传输张量,却未能暴露或理解张量背后的推理上下文。已有研究通过动态分区、协同推理和拆分流水线尝试填补这一空白,但仍受限于应用绑定、网络盲区或缺乏上下文信息。\ \ 本文提出 Inference on Demand (IoD) 抽象,将拆分推理通过类似 CAMARA 的 API 暴露,并在 5G 用户面路径中带宽内携带拆分感知的张量上下文。IoD 通过在可编程用户面功能(UPF)上实现的测试平台,对可划分的视觉 AI 工作负载进行评估。实验表明,基于运行时分割的自适应拆分选择能够作为面向网络的服务运行,避免了静态配置的刚性成本。\ \ 当服务意图、运行时分割策略和张量传输全部在移动数据平面可见时,拆分推理不再是单纯的离线卸载,而演化为网络原生 AI 服务。可编程的电信基础设施因此能够在计算、上下文和连接之间进行协同调度,为面向用户的应用提供统一的算力与网络支撑。\ \ 点评:IoD 将 AI 推理与 5G 网络深度融合,为实现灵活、成本可控的边缘 AI 服务提供了可行路径,也为未来网络原生 AI 平台奠定了概念基础。

原文链接: https://arxiv.org/abs/2610.15062

[h] 返回首页