NeFut Logo NeFut
EN 管理员登录

[AI学术] 自监督关键帧发现用于视野不变行为克隆

发布于:2026-10-09 22:00 最后更新:2026-10-12 00:49
#Machine Learning #optimization #Artificial Intelligence

行为克隆(BC)在非马尔可夫环境中面临长时域上下文推理的挑战。传统策略依赖循环网络或注意力机制捕获长期依赖,但循环模型易出现隐藏状态塌陷并在时间反向传播时梯度不稳,注意力模型受限于上下文长度。

我们提出 关键帧记忆体(Keyframe Mnemonics),一种自监督方法,通过从随机抽取的过去观测中学习目标,并将该目标作为奖励来挑选信息关键的观测(记忆体)。随后训练一个以发现的关键帧为条件的 BC 策略,以建模动作分布。

在满足特定任务结构假设下,该框架能够在无限时域上提供上下文保持保证,同时在策略工作记忆中仅保留少量决策相关关键帧。

实验在合成记忆域中进行,记忆体条件 BC 策略实现了 $100\%$ 成功率(SR),并能在远超训练时域的长度上保持性能不降。进一步在记忆密集型机器人操作基准上测试,平均提升 $13.9\%$ 绝对 SR,且在真实机器人上延长 $20\times$ 时域仍保持 $80\%$ SR。代码与视频已公开: https://keyframe-mnemonics.github.io

点评:该工作通过自监督关键帧筛选,突破了循环与注意力模型的固有局限,为长时程行为克隆提供了可扩展且高效的记忆机制。

原文链接: https://arxiv.org/abs/2610.10857

[h] 返回首页