NeFut Logo NeFut
EN 管理员登录

[AI学术] LAPT-Scale:通过人类视频的潜在动作预训练实现机器人策略扩展

发布于:2026-10-14 22:00 最后更新:2026-10-18 08:05
#algorithm #AI #Machine Learning

LAPT-Scale 提出了一种可扩展的潜在动作预训练框架,旨在利用大规模第一人称人类视频来提升通用机器人策略。框架包括两部分:LAPT-Scale-LAM 通过解释视频帧间的视觉转变学习连续的潜在动作,并将其作为人类来源的监督信号;LAPT-Scale-Policy 在此基础上进行 VLA(视觉‑语言‑动作)策略的预训练,随后通过目标机器人形态对齐和任务特定的后训练完成完整学习。

与之前使用向量量化的 LAM 不同,LAPT-Scale-LAM 采用连续潜在空间,以保留细粒度的运动和交互动力学。为了超越像素重建的局限,框架融合了感知、语义和光流对齐信号,实现了更精准的转变级监督。

模型在 23.3K 小时的第一人称视频上进行预训练,得到的潜在动作监督在后续策略预训练中表现出显著的规模效应。实验表明,随着标注视频从 1K 小时提升至 5K 小时,真实机器人任务成功率从 63.3% 提升至 85.0%。此外,学习到的策略还能在未见的视觉条件下保持良好泛化。

点评:LAPT-Scale 展示了利用海量人类视频进行机器人策略学习的可行性,连续潜在空间和多模态对齐的设计是提升跨域迁移性能的关键。

原文链接: https://arxiv.org/abs/2610.13732

[h] 返回首页