NeFut Logo NeFut
EN 管理员登录

[AI学术] 边际效用、矩阵分解与 KV 缓存:统一的信息经济框架用于主权地质挖掘推理

发布于:2026-09-18 22:00 最后更新:2026-09-20 12:54
#algorithm #Machine Learning #LLM

本文在经济学的边际效用概念与机器学习中的矩阵分解、Transformer 的键值(KV)缓存之间搭建了理论桥梁。作者证明,评分矩阵的奇异值谱 $\sigma_i$ 构成潜在因子的递减边际效用序列;投影协方差算子的特征值谱 $\lambda_i$ 则对应模型学习表征的边际效用;在固定记忆预算下,缓存驱逐和低秩缓存压缩等操作等价于约束效用最大化问题。统一的分配规则是:保留所有特征值大于约束影子价格 $\mu$ 的维度,即 $\lambda_i > \mu$。

该框架被用于从地质勘探文献中自动抽取结构化信息。具体实现包括:① 多轮推理协议,逐层细化抽取结果;② 基于 TIES 的层级模型合并,采用层级校准密度避免合并后出现的全局一致但错误的输出;③ 选择策略将抽取质量、定位漂移和能耗三者标量化,并在漂移上加入条件风险价值(CVaR)项以控制极端偏移。

实验报告了两项贡献。首先,构建了一个 1120 万参数的层级分类器,仅用单卡 GPU 训练约五分钟,在 973 篇铀勘探文档的留出测试集上达到 90.0% 的一级准确率;在人审计的 50 篇文档上,专有模型的 92.0% 仅在延迟上劣势明显(本模型 2.62 ms/卡 vs. API 约 2000 ms),且成本可忽略不计。其次,对均匀密度 TIES 合并进行诊断,发现模型在五个地理区块返回完全相同的 token 序列且置信度异常高的退化模式;在层级校准密度下重新合并后,该异常在诊断样本中消失。完整的抽取基准(包括 LoRA 微调)仅给出投影结果,未进行实测,留作后续工作。

点评: 本文将经济学的边际效用概念形式化为机器学习的特征选择准则,为 KV 缓存管理提供了理论依据,并在实际地质文档抽取任务中展示了显著的效率-精度平衡,值得在更广泛的 LLM 应用场景中进一步验证。

原文链接: https://arxiv.org/abs/2609.20068

[h] 返回首页