理解日常生活中的运动需要超越运动学的上下文,因为在日常生活活动(ADLs)中类似的惯性模式可能反映出故意停止、物体交互或病理运动障碍。自我视觉提供了与任务相关的上下文,可以帮助消除这些情况的歧义。我们通过帕金森病(PD)中的冻结步态(FOG)检测来研究这个挑战,FOG受到ADLs期间的上下文因素的强烈影响。使用来自13名PD参与者的同步自我视觉视频、可穿戴IMUs和专家注释的FOG标签,我们在留一法评估下评估了预训练的自我视频和时间序列基础模型的冻结表示,以及从头开始训练的IMU-based TCN。IMU-based TCN实现了最强的事件检测性能,达到42.3 F1和83.0 AUROC,相比之下,自我视频特征V-JEPA2的F1为32.6,AUROC为77.2。虽然自我视频单独没有超过IMU-based传感器的性能,但它显示出超过偶然性的判别能力,定性分析表明自我视觉可能捕获到与IMUs独立的FOG相关信息。这些结果共同支持使用预训练的自我视频表示来为可穿戴传感器基于的临床运动理解添加上下文信息。 博主点评: 本文探讨了自我视觉在临床运动理解中的应用,特别是在帕金森病中的冻结步态检测。研究结果表明,自我视觉可以提供有价值的上下文信息,提高运动理解的准确性。