具身代理需要将多模态感知和用户指令转化为可执行动作,同时受产品约束、目标变化和执行反馈的影响。我们提出 JoyInside-VLM-Agent,这是一种基于 ReAct 思路的多模态代理,通过产品条件化轨迹构建和分阶段策略学习,面向机器人平台和智能硬件进行训练。
在闭环沙盒中生成覆盖目标修订和失败恢复的交互轨迹,并依据执行结果和语义标准进行检查。随后进行监督微调和多教师在线策略蒸馏,最后使用 DPER(双源特权在线自蒸馏并带有 Token 级证据路由)进行强化学习。DPER 在冻结的特权教师和共享 rollout 参数的特权学生之间路由 token 级证据,调节基于奖励的 token 优势并保持其符号不变。
训练奖励由生成过程评估、多评审排名以及任务队列一致性三部分组成。
实验结果显示,JoyInside-VLM-Agent 在 BFCL v4 基准上取得 77.44 的整体得分,超过所有对照基线;在其他公开基准上的表现则呈现出一定的差异。
在 JoyInside-Devices 与 JoyInside-Robotics 两大子任务中,系统在所有报告指标上均领先于基线,得益于针对领域的技能细化。
两例真实四足机器人案例展示了视觉引导搜索、执行失败后的重新规划以及明确的失败报告能力。
点评