NeFut Logo NeFut
EN 管理员登录

[AI学术] 提升压缩 AI 代理记忆的局部与全局结构

发布于:2026-11-07 22:00 最后更新:2026-11-08 12:04
#algorithm #AI #Machine Learning

AI 代理将文本转化为嵌入向量并在大规模下进行压缩。压缩是否可接受的标准是每个条目的最近邻仍然保留,但代理还会进行记忆的合并、删除和比较,这些操作依赖于条目之间的远距离关系。我们使用先前工作中的两种无标签保真度指标来同时评估局部和全局结构:局部保真度 $L$ 计算前 10 个最近邻的保持情况,全局保真度 $G$ 计算记忆中 30%~50% 条目的整体保持情况。

在每段 96 字节的压缩下,重新打分的二进制码实现了 $L=0.97$,但有 10.1% 的段落被迁移到其他主题;而使用 8 位 PCA 码的 $L=0.77$ 只导致 1.7% 的迁移。重新打分仅改变了评分,不影响已存储的码字,因此 $G$ 保持不变。

我们证明,在 $G$ 区间内,$1-\nu_k$ 至多是近远秩违背率的 $2$ 到 $2.18$ 倍的平方根,并且该违背率与压缩产生的距离噪声高度相关(相关系数 $0.979$)。基于此理论界限,我们提出了局部感知量化(LAQ),将界限转化为 OPQ 索引码本的 hinge 目标,同时保持其字节数、旋转矩阵和搜索流程不变。到目前为止,LAQ 是首个目标来源于已证实的远端界限的量化器。

仅使用重构无法提升 $G$(在 52 次持出实验中均为 0),而加入远端 hinge 在全部 52 次实验中均提升 $G$。LAQ 在全部 52 次实验中提升 $G$(相对于 13 组记忆编码器的 $p=8.5\times10^{-4}$),在外部 FinDER 记忆上同样表现最佳,在 12 次 Multi-Doc-2025 运行中七种等大小量化器中 $G$ 最高,能够扩展到一百万段落并保持证据召回率。

点评:LAQ 通过将理论界限转化为可优化的目标,实现了在保持压缩率的前提下显著提升全局结构保真度,为大规模记忆检索提供了可靠的量化方案。

原文链接: https://arxiv.org/abs/2611.08341

[h] 返回首页