在复杂图像创作与编辑中，单一的生成或编辑模型往往难以满足用户需求。用户请求可能涉及图像合成、对象定位、区域分割、选定内容编辑、中间资产合成、文本读取及最终结果增强等任务。这些任务使多模态代理的角色从认知增强的推理转变为以操作为中心的视觉创作，要求工具主动改变视觉状态，而不仅仅是检查它们。然而，现有的多模态工具使用代理大多优化于感知、搜索或特定领域的编辑，缺乏可执行图像创作轨迹的大规模监督。本文介绍了 CanvasCraft，这是一个用于复杂图像创作和编辑的大规模多模态工具使用数据集，以及 CanvasAgent，一个工具增强的多模态代理，它通过多轮交互学习编排异构视觉工具。
CanvasCraft 包含 140K 个完全注释的可执行轨迹和 10K 个强化学习任务规范。CanvasAgent 首先通过 SFT 训练以学习可执行的推理-行动轨迹，然后使用 GRPO 进行优化，采用结合结果和过程级信号的混合奖励。在推理过程中，CanvasAgent 检查中间结果，跟踪视觉资产，并根据不断变化的视觉状态调整工具决策。实验评估最终图像质量和轨迹行为，展示了 CanvasAgent 及所提出的数据集在复杂多工具图像创作工作流中的有效性。
博主点评： CanvasAgent 的创新性在于其通过多模态工具的编排，显著提升了图像创作的复杂度和灵活性，充分展示了在视觉处理领域的前沿技术。这一研究不仅填补了现有多模态代理的空白，还为未来的图像编辑工具开发提供了坚实的基础。