改进具身代理的研究通常聚焦于通过训练提升底层模型,而控制规划、上下文管理和工具使用的代理外壳(harness)多由人工设计。我们提出一个问题:能否让该外壳直接从稀疏环境反馈的经验轨迹中自我改进?为此我们构建了 EMbodied Agent Harness Optimization(EMHO)框架。EMHO 在保持具身模型冻结的前提下,反复分析执行轨迹和历史外壳配置,迭代更新外壳逻辑。它的优化范围超越单纯的技能或恢复提示,涵盖进度监控、视觉工具调用、观察 grounding 以及失败响应等方面。
为了解决在单一外壳上支持多个子任务的冲突,EMHO‑Merge 引入基于每集(episode)收益和损失的证据驱动机制,决定何时以及如何应用修正行为。我们在 EmbodiedBench 的导航和操作任务上对 Qwen‑9B 与 Qwen‑27B 进行评估,EMHO 在所有任务上均显著提升成功率。定性分析表明,EMHO 不仅能从失败中恢复,还能根本性地重塑代理对环境的感知与交互方式。
点评