NeFut Logo NeFut
EN 管理员登录

[AI学术] TAD:仅凭教师轨迹蒸馏视觉语言动作策略

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #optimization

在线蒸馏视觉-语言-动作(VLA)策略时,常需要教师的动作分数,而仅提供推理接口的模型往往无法获得这些分数。轨迹仅对抗蒸馏(\gad{})通过将教师的关节位置特征库转化为自适应反馈来解决此问题:判别器比较教师和学生在回滚过程中的特征边缘分布,并为学生的在策略学习提供奖励。学生在交互过程中既不查询在线教师,也不依赖环境任务奖励。实验在 ManiSkill \texttt{PutOnPlateInScene25Main} 环境中进行,\gad{} 将 OpenVLA-OFT(7B)的成功率从 $26.2\%$ 提升至 $76.6\%$(提升 $50.4$ 个百分点),并将另一指标从 $20.3\%$ 提升至 $58.6\%$。相较于白盒在线蒸馏(OPD)的 $81.6\%$ / $59.4\%$,\gad{} 仅低 $5.0$ / $0.8$ 个百分点(每个检查点评估 $256$ 条轨迹)。四轮继续训练的最佳实验在不使用额外教师数据的情况下取得最高 \gad{} 成绩。该最佳运行使用了 OPD 学生交互预算的 $5\times$,以及完整回滚批次的 $12.5\times$。对比结果表明,在没有教师评分的情况下也能实现 VLA 策略的在线提升,并量化了交互与优化预算的不等价性。

点评

原文链接: https://arxiv.org/abs/2610.33650

[h] 返回首页