医学工作流常常需要多个相互依赖的分析,但现有的专科模型和通用模型并未设计为协同工作。我们提出 MMedAgent-Plus,这是一种多模态医学工具使用代理。它将视觉语言规划器与 18 个领先的专科模型相结合,覆盖 12 项任务和 8 种模态。通过统一的工具接口,规划器能够挑选合适的专科模型,按序执行,并基于它们的输出合成最终答案。规划器在 208,928 条来自 32 个公开医学基准的数据上进行指令微调,涵盖单工具和多工具的单轮与多轮交互。我们分别在工具编排、答案合成和端到端执行上进行评估。实验显示,在单工具多轮设置下工具调用准确率为 91.0%,多工具多轮为 98.1%,多工具单轮为 80.7%。在提供正确工具输出的前提下,MMedAgent-Plus 在 600 条评估样本上获得 14.4‑14.8 分(满分 15 分)的忠实度、完整性和简洁性。端到端评估中,在未预先提供工具输出的 350 条跨七任务案例中,正确调用所需专科模型的比例为 90.6%。最终答案准确率达到 0.98,等同于最强专科模型,远超基线 0.28。
点评