NeFut Logo NeFut
EN 管理员登录

[AI学术] FORGE:通过关键点轨迹推理实现功能工具使用的通用化

发布于:2026-07-09 22:00 最后更新:2026-07-10 03:15
#algorithm #AI #Machine Learning

在日常生活中,人类能够轻松地将书籍、石头或鞋子重新用于钉钉子等功能,但经过特定工具训练的机器人却无法将相同功能转移到新工具上,这一现象被称为功能泛化。尽管这些工具在视觉上具有可识别的共同功能意图,但这种感知相似性并未延续到动作空间中,因为每种工具都需要完全不同的运动模式。

为了弥补这一差距,我们探索了中间表示,包括可供性图像、人类视频提示和二维关键点轨迹,发现关键点轨迹在功能表达和动作可实现性之间达到了最佳平衡。基于此,我们提出了功能推理与基础执行(FORGE)框架,它是一个两阶段的策略,将功能推理与动作执行解耦:首先从无动作数据中预测可推广的关键点轨迹,然后将其基础化为机器人动作,所需演示数量有限。

在一个包含七种工具的打击功能基准测试中,FORGE 在未见工具的表现上始终优于现有的最先进方法,模拟和现实世界中的平均成功率提升超过 2 倍。

原文链接: https://arxiv.org/abs/2607.05780

[h] 返回首页