在深度神经网络（DNN）测试中，现有方法主要关注在固定标注预算下可能揭示模型故障的测试输入。然而，选择合适的预算是一个挑战：预算过少可能会错过故障，而预算过多则会产生不必要的标注成本。本研究探讨了DNN测试中的早停问题，将测试过程视为一个成本-收益决策过程，其中标注一个输入的成本为 $c$，而发现故障的价值为 $v$。
基于这一模型，我们引入了 \textit{AdaStop}，这是一个在测试过程中估算边际故障发现率的框架，并在估算率低于阈值 $\tau = c/v$ 时停止标注。实验结果表明，在多个数据集、架构和选择策略下，仅使用 $9$–$31\%$ 的标注预算就能发现 $65$–$84\%$ 的故障。
博主点评： AdaStop 提出的成本感知早停策略为深度学习模型测试提供了一种高效的解决方案，通过动态调整标注预算，显著提高了故障发现的效率。这一方法不仅降低了测试成本，还为后续的测试优化研究指明了方向。其在多个数据集上的表现也证明了该框架的广泛适用性。