摘要
远程光电容积脉搏波形(rPPG)变压器在基准测试中取得了低心率误差,但其决策过程却依然不透明,这在rPPG向临床心率估计发展过程中引发了越来越多的关注。现有的rPPG可解释人工智能(XAI)主要依赖于定性热图检查,缺乏定量的可信度指标或生理学基础的验证,这在视觉可信性与可审计证据之间留下了空白。我们对此进行了改进。
首先,我们将四种归因方法(原始注意力、展开、流动和超越直觉)适配到了RhythmFormer的双层路由注意力机制中,并引入了top-$k$选择策略。其次,我们引入了一种皮肤覆盖率指标,用于量化归因质量在皮肤区域的分布。第三,我们将SaCo可信度系数从其原始分类设置适配到rPPG回归,利用原始与扰动后的rPPG波形预测之间的平均绝对误差(MAE)作为扰动影响。
利用这些工具,我们量化了在稀疏top-$k$路由下的多跳泄漏效应:注意力展开和流动几乎完全恢复了单独精细注意力层显式设置为零的连接。超越直觉通过其值投影加权展开和梯度支持掩码来缓解这一问题,达到了在UBFC-rPPG上评估方法中最高的中位数精细皮肤覆盖率($0.83$对比$0.57$的原始展开)和可信度($F=0.92$)。
需要对不同数据集和模型变体进行验证。一个低SaCo异常值的案例研究进一步表明,所有四种方法在替换伪影区域后都能一致地恢复,表明在这个示例案例中归因家族的SaCo行为一致。综上所述,这些指标推动了rPPG的XAI向可审计的数值证据发展,确保了空间对齐和扰动可信度,即可信的rPPG XAI。
博主点评: 文章通过系统化的可解释性分析,填补了rPPG领域中可解释性与可审计性之间的空白,尤其是在临床应用中,这种方法的有效性将对心率监测产生深远影响。通过引入新的归因方法和覆盖率指标,研究为rPPG的可信度提供了坚实的基础,值得关注。