在机器人基础模型（RFM）中，如何引导其适应新的任务变种或用户偏好行为仍然是一项挑战，通常需要额外的机器人演示、任务特定的微调或长上下文条件。我们提出了WAM-TTT，这是一种通过原始人类视频进行测试时训练的框架。与其将人类视频视作模仿的轨迹，WAM-TTT将其吸收到冻结的WAM内部的轻量自适应记忆中，通过自监督视频预测来实现。
为了使这个记忆对控制有效，我们引入了一个元训练阶段，该阶段通过配对的人类-机器人数据和关键-值记忆重构目标来对齐人类演示与机器人行为。在测试时，仅需要未标记的人类视频来适应记忆，而预训练的WAM保持冻结。这使得在不需要机器人动作、人类侧注释或任务特定微调的情况下，实现高效且可重用的引导，同时保持基础模型的泛化能力。大量实验表明，WAM-TTT在各种操作任务和泛化设置中始终优于基于上下文的人类视频条件基线。
博主点评： WAM-TTT框架展示了在无须复杂标注或微调的情况下，如何利用人类视频有效引导机器人模型。其自适应记忆的设计和元训练阶段的引入，极大地提升了模型的泛化能力，具有重要的实践价值和研究意义。