AlphaNIST 在 NIST Assembly Task Board #1 上使用仅二进制任务奖励实现了装配技能的自发涌现。该基准要求在短时间内对小尺寸、紧配合部件进行精确、接触丰富的控制，同时在长时间序列中实现恢复与协同。传统方法依赖演示、任务分解或密集进度奖励来提供装配指引，但这些都需要显式指定策略。AlphaNIST 探讨仅使用稀疏的成功/失败二进制奖励，结合任务多样性，能否让机器人自行发现装配策略。我们在仿真中从零开始训练单一策略，覆盖全部 20 项装配任务，整体成功率达到 98.2%，未使用演示、进度 shaping、脚本化原语或每任务调参。框架还能在单个回合中完成十对装配，仅在全部十对同时完成时给予奖励，未规定装配顺序。学习到的策略表现出类似规划的行为：为后续装配选择抓取姿态、利用周围几何重新定向部件、先准备部件 A 再装配部件 B，随后返回完成部件 A，全部无需显式规划器。更多视频请访问 https://alpha-nist.github.io/。
点评