Vision‑Language‑Action(VLA)模型在机器人操作中取得显著进展,但在长时程任务上的表现受限于记忆建模不足。已有方法要么在策略网络中使用隐式时间表示,导致历史信息随时间逐渐衰减;要么采用显式记忆缓冲,容易出现冗余、噪声累积以及检索低效的问题。
本文提出 CogMemory,一种变分认知记忆框架,使 VLA 系统能够有选择地保存并复用任务相关的历史信息。核心设计包括:
- 选择性状态空间记忆编码器,将多模态轨迹压缩为紧凑的潜在记忆向量;
- 多槽时间抽象,在潜在空间中划分若干记忆槽以捕获不同时间尺度的特征;
- 变分信息压缩,通过 KL 散度约束实现记忆的高效表征。
在动作生成阶段,采用 动态交叉注意力检索 + 门控融合,根据当前观测自适应地引入相关记忆,提升策略预测的准确性。CogMemory 仅增加约 3.45M 参数,保持轻量化,并可无缝集成到早期融合或中期融合的 VLA 主干网络。
在多个长时程机器人操作基准上的实验表明,CogMemory 在不同 VLA 架构下均实现了稳健的性能提升。
点评