在日常生活中,人类能够轻松地将书籍、石头或鞋子重新用于钉钉子等功能,但经过特定工具训练的机器人却无法将相同功能转移到新工具上,这一现象被称为功能泛化。尽管这些工具在视觉上具有可识别的共同功能意图,但这种感知相似性并未延续到动作空间中,因为每种工具都需要完全不同的运动模式。
为了弥补这一差距,我们探索了中间表示,包括可供性图像、人类视频提示和二维关键点轨迹,发现关键点轨迹在功能表达和动作可实现性之间达到了最佳平衡。基于此,我们提出了功能推理与基础执行(FORGE)框架,它是一个两阶段的策略,将功能推理与动作执行解耦:首先从无动作数据中预测可推广的关键点轨迹,然后将其基础化为机器人动作,所需演示数量有限。
在一个包含七种工具的打击功能基准测试中,FORGE 在未见工具的表现上始终优于现有的最先进方法,模拟和现实世界中的平均成功率提升超过 2 倍。