引言
人类运动捕捉技术在虚拟现实（VR）和增强现实（AR）等领域具有重要应用，而头戴式设备（HMD）提供了一种可扩展的获取真实世界人类运动和交互数据的方法。现有的方法主要集中在两种跟踪方式上：自我中心（egocentric）跟踪和外部中心（exocentric）跟踪，前者关注佩戴设备的主体运动，后者则捕捉佩戴者周围的人的运动。这两种模式至今大多是孤立探索的。
方法
本文提出了一种新颖的分布式框架EgoExoMoCap，联合利用自我中心与外部中心的多模态信号进行人类运动估计。与传统需要大量摄像头或笨重动作捕捉服装的系统不同，我们的方法仅需两人或更多佩戴一副智能眼镜。该方法利用头部（以及可能的手腕）跟踪信号，准确估计三维世界中的全局运动，并结合基于DINOv3的上下文感知图像特征，以提高在噪声和遮挡情况下的鲁棒性。
实验结果
在两个真实环境数据集上的广泛实验表明，我们的方法即使在具有挑战性的场景中也能稳健地重建运动。
博主点评： EgoExoMoCap展示了结合多模态信号的新思路，极大地简化了运动捕捉的复杂性，这可能会推动VR/AR领域的进一步发展。其适应性和鲁棒性为未来的应用提供了广阔前景。