本文提出了一种用于训练具身虚拟大鼠的系统 SCAMPER（Simulated Control via Augmented Motor Priors for Embodied Reinforcement learning），旨在实现目标导向行为和随机探索期间的自然运动。
以往的研究虽已构建虚拟动物体并通过模仿学习获得逼真动作，但缺乏在两类行为中均能保持自然性的统一框架。
SCAMPER 采用变分架构，分别引入运动先验（motion prior）和行为先验（behavior prior）。运动先验负责生成可控的运动轨迹，行为先验则提供多样的探索动作，从而在训练过程中兼顾任务完成和行为多样性。
实验表明，结合这两种先验后，模型在自由探索时能够产生与真实啮齿动物相似的轨迹，并在有明确目标的任务中有效利用任务结构。由于行为先验带来的动作多样性，SCAMPER 还能在奖励稀疏的情境下实现学习，符合神经科学实验中常见的稀疏奖励任务。
SCAMPER 为神经‑AI 社区提供了一套可用于真实任务的具身啮齿动物建模工具，促进生物与人工智能体之间的直接比较。
点评