摘要
Gaussian splatting 是当前在机器人辅助微创手术（RAMIS）中用于密集可变形3D解剖重建的最先进技术；然而，大多数管道是离线的，并依赖于准确的相机轨迹先验（通常来自机器人运动学），这限制了在先验缺失或噪声较大的情况下的应用。
为了解决这些局限性，我们提出了 Track2Map，这是一种在线3D Gaussian Splatting 管道，能够直接从手术视频中联合优化相机轨迹和3D可变形场景表示。因此，Track2Map 能够在相机轨迹先验缺失或噪声较大的情况下进行稳健的3D重建，且由于其在线特性，它有效地作为一种同步定位与地图构建（SLAM）方法。
为了在组织运动和模糊视觉线索的情况下稳定优化，我们引入了一种基于轨迹锚定的变形初始化，使用密集的2D点轨迹。此外，轨迹统计信息被进一步利用，以通过检测静态相机周期来区分相机运动和场景变形，从而减少增量映射中的漂移。
在 StereoMIS 上的实验表明，与竞争的SLAM方法以及利用相机轨迹先验的非SLAM方法相比，重建质量和相机轨迹得到了改善。
代码可在 Track2Map GitHub 获取。
博主点评： Track2Map 的提出展示了在线可变形 SLAM 技术在机器人手术中的巨大潜力，通过优化相机轨迹与场景表示的结合，显著提升了重建的准确性和鲁棒性。这一方法不仅适用于手术场景，也为其他动态环境下的SLAM应用开辟了新思路。