我们提出了简单约束稀疏袋装学习（SCSB），这是一个数学上严格的框架，用于基于自助法的袋装集成的后训练压缩和概率校准。标准的袋装集成（如随机森林、袋装支持向量机和袋装神经网络）对所有构成估计器赋予均匀的投票权。
然而，这种天真的均匀先验忽视了基础估计器的局部能力差异，导致模型过于自信。我们将集成修剪和校准公式化为在概率单纯形上的联合优化问题，目标是最小化袋外（OOB）损失。
为了引入稀疏性，我们解决了理论上的“L1-单纯形悖论”——即L1范数在单纯形上是常数，无法实现修剪——通过引入一个凹二次惩罚项。SCSB是模型无关的，能够实现高达96%的集成压缩，提供线性推理速度提升和更优的概率校准（降低期望校准误差），同时保留或增强泛化准确性。
博主点评： SCSB框架为集成学习提供了新的思路，通过引入稀疏性和概率校准，有效提升了模型的表现。其在压缩和校准方面的出色表现，尤其是在保持泛化能力的同时，展示了该方法的广泛适用性和前景。对于希望提高模型性能的研究者和工程师而言，该方法值得深入研究和应用。