当前对认知不确定性的评估主要依赖于如OOD检测和主动学习等任务。然而，这些任务的贝叶斯最优决策策略与常用的认知不确定性量化评分并不一致。基于认知拒绝选项框架，我们评估认知不确定性，侧重于其识别可减少错误（后悔）的能力。
我们将选择性预测形式化为覆盖率、期望风险和后悔的约束优化，证明最优选择器是基于真实的随机和认知不确定性的阈值化凸组合。这一理论统一揭示了近期不确定性解耦文献的一个弱点：我们证明标准的相关性度量不一定能预测其实际操作效用。
相反，我们建议评估分解的可实现风险、后悔和覆盖面作为联合解耦和效用的诊断工具。通过在密集人类注释数据集上对标准方法进行基准测试，发现决策理论排名可能与代理任务排名存在显著不一致，包括在某些标准上排名靠前而在其他标准上排名靠后的方法间的成对排名反转。
博主点评： 本文提出了一种新颖的评估认知不确定性的方法，强调了理论与实际应用之间的差距，尤其是在不确定性解耦方面。通过优化选择策略，研究者为未来的机器学习模型提供了更为可靠的决策依据，值得关注。