NeFut Logo NeFut
EN 管理员登录

[AI学术] ArcFlow:面向多预算求解器的流策略训练

发布于:2026-10-24 22:00 最后更新:2026-10-25 13:04
#algorithm #AI #Machine Learning

流匹配策略通过调节求解器步数来控制推理成本,但在单一固定预算下进行强化学习往往会掩盖在更低预算部署时的性能下降,甚至会抹去预训练策略中有价值的一步行为。\ \ ArcFlow 是一种面向部署的训练算法,能够在给定的预算区间内学习单一流策略。它将动作对齐监督、预算曝光以及最差预算检查点选择三者结合,实现了跨预算的稳健性能。\ \ 在重建目标下,ArcFlow 的桥接模块把时间探针汇聚为一个代理比例和每个动作对应的 PPO‑style clip,桥的边界残差恰好等于部署时的一步重建误差,从而保留了关键的单步信息。\ \ 循环过程将共享字段暴露给整个预算范围,检查点选择则优化了策略在最差预算下的性能下限。\ \ 对于原生速度目标,ArcFlow 采用多预算端点监督,遵循相同原则但不替换原有更新机制,保持网络结构和部署时成本不变。\ \ 在 DM Control、操作和行走等 30 项任务中,ArcFlow 在 25 项任务上实现了五种流策略基线中最高的平均一步回报,训练设置与各方法报告保持一致。\ \ 组件实验表明,边界监督、固定网格桥接、预算曝光和部署选择分别带来互补的提升。\ \ 这些结果证明,面向部署预算的训练是实现低步数强控制的有效途径,一套策略即可适配多种推理成本。\ \ 点评

原文链接: https://arxiv.org/abs/2610.28788

[h] 返回首页