摘要
多视角机器人操控方法结合注意力机制，近期在训练效率和任务表现上取得了显著进展。然而，机器人视图图像中的冗余、遮挡和视角依赖性常常导致严重的注意力漂移。为了解决这一挑战，我们提出了AmpAttention，这是一种受模拟电路中差分放大器启发的新型注意力机制。其目标是抑制注意力噪声，捕捉高信噪比信号，以实现更可靠的感知。
基于此，我们引入了RVAF模型，整合了任务引导的视内和视间AmpAttention。与之前的最先进方法相比，RVAF在18个RLBench任务（249个变体）中实现了最佳平均成功率，同时减少了33.3%的训练时间。RVAF在现实世界的高精度任务中也展现出强大的潜力，例如能够成功捡起飞镖并准确插入红色靶心。此外，我们通过结合SAM2图像编码器，将RVAF扩展为RVAF++。RVAF++在高精度任务上取得了显著提升，如在“插入插头”任务中达到了91%的成功率。更多定性结果可在匿名项目网站 https://anonymous.4open.science/w/RVAF-Anonymization 中查看。
博主点评： 该研究通过引入差分放大器的灵感，显著提升了多视角机器人操控中的注意力机制，提供了实用的解决方案来应对视图中的冗余和遮挡问题，特别是在高精度任务中的表现令人印象深刻。此类创新机制的应用将进一步推动机器人技术的实际应用。