NeFut Logo NeFut
EN 管理员登录

[AI学术] 将动作前缀预测与跨模态对齐相结合用于多模态强化学习

发布于:2026-11-12 22:00 最后更新:2026-11-13 06:56
#Machine Learning #optimization #Neural

在强化学习中,利用多模态观测学习表征面临交互数据稀缺的挑战。已有的多模态联合预测表征(Multimodal Joint Predictive Representation)通过跨模态对比学习实现潜在预测,但其递归 rollout 依赖于先前的预测,且配对对齐仅关注模态之间的对应关系。为此我们提出改进的预测表征(Improved Predictive Representation,IPR),它在观测锚点上结合动作前缀预测与对比多模态对齐。具体做法是在每个预测时域 $h$,直接从当前观测锚点 $z_t$ 与对应的动作序列 $a_{t:t+h-1}$ 预测未来表征:

$$\hat{z}_{t+h}=f(z_t, a_{t:t+h-1})$$

我们设计了两种裁剪配置:IPR‑S 保留最小裁剪面积 10%,IPR‑H 保留 50%。在 DeepMind Control Suite 的五个任务上,IPR‑H 在使用视觉+深度图像的基线上提升平均回报 10.0%,在使用视觉+位置向量的基线上提升 3.4%。两种配置的相对表现随任务而异。Webots 实验表明,在未使用 LiDAR 的情况下,两种 IPR 配置均获得更高的最终平均回报,但在提供 LiDAR 时优势消失。

点评

原文链接: https://arxiv.org/abs/2611.13782

[h] 返回首页