在机器人操作中，自我感知是至关重要的。然而，传统的融合方法往往将其视为孤立的向量，缺乏与视觉标记的明显对齐。
由于三维运动学与二维特征图之间缺乏直接对应，操作策略在将机器人状态与场景对齐时常常表现不佳，甚至不及仅依赖视觉的基线方法。
为了解决这个问题，我们提出了GeoProp，这是一种轻量级、即插即用的适配器，通过显式的几何对齐和空间特征采样将自我感知与视觉对齐。GeoProp将机器人状态投影到图像平面上，以采样局部视觉特征，从而构建一个对齐的状态标记。
然后，通过FiLM调制将状态衍生的空间先验注入到相应的视觉特征中。为了捕捉运动意图，GeoProp进一步在基于近期运动学预测的短期坐标上采样特征，提供前瞻性的视觉上下文。
在67项任务中，GeoProp在63项模拟任务中将Diffusion Policy的表现提升了8.7%，在RoboTwin子集上提升了pi_0的表现4.0%，并且在真实世界中两个策略家族的平均增益达到了10.6%，同时仅增加了2-3%的参数量。
这些结果表明，GeoProp是对通用体态策略的一种简单而高影响力的归纳偏置。项目页面：GeoProp Project。
博主点评： GeoProp通过将自我感知与视觉信息有效结合，显著提升了机器人操作的准确性和效率。其轻量级设计使得在实际应用中具备很强的灵活性，这为未来的机器人技术发展提供了新的思路和方法。