NeFut Logo NeFut
EN 管理员登录

[AI学术] 多代理 LLM 推理中的持久内存:成本、收益与适用时机

发布于:2026-10-08 22:00 最后更新:2026-10-12 00:49
#Machine Learning #LLM #Artificial Intelligence

本文评估了在多代理大语言模型(LLM)推理中引入持久层的实际效果。通过将长上下文拆分到协作代理中,可以将每次调用的 KV 缓存峰值限制在 14.3 MiB,而单轮推理和检索增强基线分别需要 35.5 MiB 和 35.3 MiB。持久层用于存储和召回推理轨迹,但在八组受控数据集(每组 100 条)上,它额外占用约 0.368 MiB(区间 [+0.167, +0.590]),而准确率变化仅为 +0.015(95% CI [-0.011, +0.046]),未出现显著提升。作者指出,这一“无效”结果源于单问基准的结构:每个问题独立提供证据并独立评分,正确性要求在不同条件间重置存储的轨迹,导致持久层没有可检索的信息。实验过程中经历了四次测量修正——前三次人为放大了表面收益,第四次才使潜在效应可辨,但在结果表中仍未显现。文中给出了代理‑内存消融实验必须满足的条件以及无需了解具体缺陷的检测流程。

点评

原文链接: https://arxiv.org/abs/2610.07782

[h] 返回首页