摘要
精确的工业接触操作需要在姿态扰动和接触力约束下可靠的机器人策略。视觉-语言-动作模型虽然具有广泛的泛化能力，但往往引入较高的推理延迟和 GPU 存储成本，而视觉-动作分块策略更适合实时工业控制。
然而，这些策略通常通过行为克隆进行训练，且在接触丰富的任务中面临分布偏移的问题。
本文提出了一种名为 PAC-ACT 的后训练强化学习框架，用于预训练的动作分块 Transformer 策略。PAC-ACT 在分块级别上重新定义了策略优化，构建了一个基于 ACT 转移的演员-评论家架构，并引入了一种混合行为优先约束，以在在线微调过程中保持预训练的动作分布。
在工业精确接触基准测试中的实验表明，PAC-ACT 在保持低延迟和低 GPU 内存使用的同时，提升了任务成功率、接触稳定性和力安全性。在轮廓任务中，PAC-ACT 显著降低了峰值接触力，并将超过 60 N 的力读数比例减少了 46 倍。稀疏奖励消融实验进一步表明，所提出的行为优先约束能够在随机初始姿态下有效探索。
博主点评： PAC-ACT 的提出有效解决了工业机器人在接触操作中的关键问题，通过强化学习结合预训练模型，不仅提高了效率，还保证了安全性，是未来工业自动化的重要一步。其在低延迟和低内存消耗方面的表现尤其值得关注，显示出在实时控制场景下的广泛应用潜力。