视觉代理在推理与工具调用交叉的多模态任务中展现潜力。传统上，学习有效的工具调用依赖大规模的问答对或专家示范，成本高昂。为此我们提出 Marvo，一种无需标签图像即可自我进化的简单有效方法。Marvo 包含两个主体：挑战者从未标注的图像生成问答对，求解者通过强化学习在解答问题时学习工具调用。为了促使求解者使用工具，挑战者的奖励采用边际奖励，即求解者在有无工具情况下性能差异。边际奖励形成自适应课程，使问题难度恰好促使求解者学习工具使用。实验在包括代理推理、视觉搜索、数学推理和真实世界推理的基准上进行，Marvo 将平均准确率提升至多 7.1%。结果表明，边际奖励是无需人工监督即可提升问题复杂度的首选方式。
点评