NeFut Logo NeFut
EN 管理员登录

[AI学术] PTQ 校准何时有益或有害:剂量驱动的崩溃与基于验证的回避在量化文本嵌入器中的研究

发布于:2026-10-21 22:00 最后更新:2026-10-22 01:04
#Machine Learning #LLM #Artificial Intelligence

学习后训练量化(PTQ)校准在小规模校准集上拟合量化器参数,对文本嵌入器而言自然的监督信号是检索相关性。我们将两个常被混淆的问题分开讨论:校准的幅度应当多大,以及是否需要校准。

在三个嵌入模型(e5-base-v2、BGE-M3、EmbeddingGemma-300m)上进行 4 位权重量化实验,共 161 次校准运行。固定的校准流程产生的结果从性能提升到灾难性退化不等,主要驱动因素是更新剂量,即量化模型相对于未校准起点的功能位移 $D_{\text{func}}$。

在 EmbeddingGemma 上,同一学习率网格的实验导致 NDCG@10 变化范围为 +1.47 到 -71.53 分;使用无标签余弦目标的校准在相同剂量下也出现大幅崩溃(-69.52 与 -71.63),说明崩溃是可学习校准本身的属性,而非检索监督的结果。

目标的敏感性表现出异质性:在 e5 上,排名校准相对于余弦校准更为稳健(+14.16 ± 4.34 pp,95% t‑CI [+3.37, +24.96],三对配对实验),而在 BGE-M3 上两者方向相反但差异未显著([-5.18, +2.38])。剂量是主要影响轴,但并非充分统计量:相同 $D_{\text{func}}$ 通过不同路径实现时,性能差异可达 1.61 pp。

因此我们将校准视为可选干预。我们预先注册了一条规则:仅当在 25% 校准‑验证划分上的每查询配对置信区间超过未校准基线时,才接受检查点。该规则在 6 条独立实验序列和五个实验臂上运行,30 次决策中未出现任何有害选择(0/30),保留了 11 次中 8 次有益更新,平均 Oracle 后悔为 1.52 pp,唯一一次放弃导致 11.13 pp 的损失,体现了安全‑机会的权衡,而非免费提升。

本文留下的未解问题包括标签效率等方面的进一步研究。

点评

原文链接: https://arxiv.org/abs/2610.27397

[h] 返回首页