近年来，多模态大型语言模型（MLLMs）在一般领域展示了良好的推理能力，但在医疗等专业领域的表现依然有限，尤其是在多语言和低资源的场景中。
这个问题在印度农村地区尤为突出，患者常用母语提出复杂的医疗问题，并依赖于医疗图像等多模态输入。现有的以英语为中心的MLLMs难以满足这些需求，从而限制了公平的AI驱动医疗服务的获取。
为了解决这一挑战，我们引入了ArogyaBodha，这是一个从八个异构来源构建的大规模多语言多模态医疗问答数据集，覆盖31个身体系统、六种成像方式以及21个临床领域，涉及英语及七种主要印度语言。
我们进一步提出了ArogyaSutra，一个基于演员-评论者的多智能体框架，集成了工具引导与双重记忆机制，以实现逐步的、基于推理的决策，并利用存储的演员-评论者仿真轨迹进行蒸馏。实验表明，我们的数据集和框架在所有印度语言中提高了多语言医疗推理的准确性，消融实验验证了每个组件的贡献。源代码和数据集可在以下链接获取：ArogyaSutra
博主点评： ArogyaSutra的提出为多语言医疗推理提供了新的视角，尤其是在低资源环境中的应用潜力巨大。通过结合多模态输入和智能体机制，未来有望显著提升医疗服务的可及性与有效性。