NeFut Logo NeFut
EN 管理员登录

[AI学术] IMPACT:注意力是可扩展交互感知世界模型训练的交互映射

发布于:2026-09-02 22:00 最后更新:2026-09-03 02:56
#algorithm #AI #Machine Learning

World models 在动作条件的未来预测上取得显著进展,但仍难以捕捉物理上合理的交互。现有方法通过外部表示(运动、几何或语义)约束生成过程,这需要额外估计器或人工标注,限制了可扩展性。我们重新审视训练目标,发现全局平均均方误差(MSE)去噪目标存在监督分配不匹配:静态内容占据大部分优化信号,导致稀疏的动态对象区域——交互生成的关键——监督不足。基于此,提出 IMPACT(Interaction-aware Model training with Prior‑guided Attention Calibration and Targeting),它利用与被操控对象 token 关联的 cross‑attention 作为内部时空先验。IMPACT 从该先验中采样候选区域,使用分离的局部预测误差进行校准,构建交互映射,并据此重新加权去噪监督,整个过程既不依赖外部表示,也无需推理时修改。大量实验覆盖机器人手臂和人手操作,涉及多种控制模态和 DiT 骨干网络,IMPACT 始终优于基于 MSE 的基线,在交互保真度、物理合理性和视觉质量上均有提升。

点评

原文链接: https://arxiv.org/abs/2609.00161

[h] 返回首页