摘要
一个通用的机器人形态控制器将显著提升计算与数据的效率。针对多机器人控制,已经利用了关于个体机器人的上下文信息,并在深度强化学习代理的架构中利用了它们的模块化结构。然而,当机器人具有高度不相似的形态时,这一问题变得尤为复杂,尤其是在代理必须推广到新的、未见过的机器人时。
在本文中,我们认为上下文特征往往只有部分可用,但可以通过模块化交互进行恢复。这将有助于更好地实现多机器人控制,并推广到训练期间未见过的上下文。
为此,我们实现了一种基于变换器的架构,具有共享的模块化递归,并在大量MuJoCo机器人上评估其(推广)性能。结果显示,在具有未见动力学、运动学和拓扑结构的机器人上,零-shot推广性能有显著提升,且在四种不同环境中表现出色。
博主点评: 该研究为多机器人系统提供了一种创新的控制方法,通过模块化递归和上下文信息的利用,显著提高了模型的泛化能力,尤其是在面对不同形态的机器人时。这一方法有望推动机器人控制领域的进一步发展。