摘要
近期，人形机器人和强化学习的进展使得获取高度表现力的全身运动策略成为可能。然而，目前大多数机器人表演仍基于预先编排的序列或外部触发的行为，这限制了其在动态环境中的自主性和响应能力。
在本研究中，我们提出了一种新颖的多模态编排框架，用于语义音频驱动的人形控制，使机器人能够实时自主选择和执行适当的运动技能。该系统处理连续的音频流，并将其分为音乐或语音分支。
音乐输入通过音频指纹识别和语义嵌入进行处理，以检索曲目身份和时间对齐，允许音乐片段与运动策略之间的动态映射。语音输入则基于离散的模仿学习技能库，支持直接的人机交互。
这两种模态共享一个统一接口，在强化学习控制管道中调度技能执行。我们在仿真环境和Unitree G1人形机器人上验证了该方法，展示了强大的仿真到现实转移能力和一致的音频条件策略选择。
更多补充材料可访问：项目链接
博主点评： 本文提出的多模态音频驱动控制框架为人形机器人赋予了更高的自主性与灵活性，值得关注其在实际应用中的表现，尤其是在复杂环境中的适应能力。音频信号的实时处理与运动策略的动态映射是该研究的关键创新，未来有望推动机器人交互技术的进一步发展。