我们提出了K-ABENA（基于误差的K自适应反向传播和N排除算法），这是一个选择性梯度计算框架，通过在反向传播过程中排除一部分低损失（"次要"）观察值，从而降低每次迭代的训练成本。其规范形式（v3）结合了对次要集合的防御性混合采样设计与Horvitz-Thompson反概率重加权，产生了一个设计无偏的Horvitz-Thompson梯度估计器（引理2），其自归一化的实际变体带有O(1/m)的偏差（引理3）。我们证明了在该估计器下，SGD的非凸收敛保证为O(1/sqrt(T))，并且有一个附加项量化残余偏差（定理1）。
我们进一步证明，未补偿的基于损失的选择——包括OHEM、SBP以及之前的两个K-ABENA变体——在其选择偏差远离零的情况下，承认在任何最小化器上没有驻点（命题2），并通过实证量化这一失败：在0.17%的类别不平衡下，未补偿变体的测试AUC为0.53-0.62，而全批次SGD的测试AUC为0.9998，而补偿估计器在相同的计算节省下达到0.9991。
在真实数据集（乳腺癌、数字、葡萄酒、糖尿病）上，补偿估计器与全批次SGD在统计上不可区分（配对置换检验，p = 0.5；第7节），同时节省了28-54%的每个时期梯度计算。一个带偏的“正则化模式”（早期的半域变体）作为一种选项被保留，并具有经过证明的确切偏差分解（引理5）和量化的禁忌症：在40%的标签噪声下，其准确率降至0.386（基线：0.832），在极端不平衡下降至0.53 AUC。本文中报告的每一个优势和每一个局限性都经过证明或测量；所有实验都在CPU规模下进行（NumPy/scikit-learn），其范围也明确说明。
博主点评： K-ABENA通过选择性梯度计算显著降低了训练成本，展示了在不平衡数据集上补偿估计器的有效性。其理论分析与实证结果相结合，为深度学习模型优化提供了新的视角，尤其在资源有限的情况下，值得深入研究与应用。