NeFut Logo NeFut
EN 管理员登录

[算法理论] 贪心字节对编码至少达到最优压缩的 0.361

发布于:2026-11-09 22:00 最后更新:2026-11-12 00:51
#algorithm #optimization #Data Structure

Byte‑Pair Encoding(BPE)通过反复合并出现频率最高的相邻符号对来构造分词器;其效用定义为进行 $k$ 次合并后字符串长度的总缩减量。此前已知,这一贪心策略至少能获得最优缩减量的三分之一。本文证明,无论字符串、合并预算 $k$ 以及如何在出现平局时拆分,贪心 BPE 的缩减比例始终不低于 $0.361$,首次将下界从 $\frac{1}{3}$ 提升。我们进一步说明,$\frac{1}{3}$ 之所以成为瓶颈,是因为背后的配对打包(pair‑packing)松弛是紧的,若要突破必须利用最优解的更多结构。当贪心一次性破坏最优解的三个合并点时,通常可以把其中一个移动到相邻位置,因为最优解中所有相同规则的拷贝在结构上是等价的;其余的情况则在后续的合并中得到补偿。研究过程中,我们精确求得两次合并的最坏比例,上界了三次合并的比例,并找出一个关键不等式,若能证明即可彻底解决该问题。\n\n点评:该工作在理论上显著提升了 BPE 的性能保证,为实际使用中的压缩效果提供了更可靠的下界,也揭示了进一步改进的潜在方向。

原文链接: https://arxiv.org/abs/2611.08671

[h] 返回首页