摘要
模型编辑为医疗视觉语言模型（VLMs）提供了一种快速且有针对性的方式，以纠正部署后出现的错误，而无需昂贵的再训练。然而，现有的多模态模型编辑基准主要集中在通用任务上，并未真实反映临床领域的需求和变异性。为此，我们引入了 M3Bench，这是一种以临床为基础的多模态模型编辑基准，评估编辑在图像和文本变异、模态和协议转变、临床知识组合以及时间进程等挑战下的可靠性、精确性和可推广性。
M3Bench 包含 16,276 个问题，涵盖多样的解剖结构、模态和专业领域，支持单次和顺序编辑。通过评估 4 种代表性的编辑器在 6 个医疗和通用 VLMs 上的表现，我们发现没有一种方法在所有标准上都表现优异。基于梯度的编辑器在迁移性上表现强劲，但遭遇了灾难性的局部性违反；而基于记忆的方法则保持了局部性，但缺乏组合通用性，并且对基础网络的超参数高度敏感。我们进一步将这些失败归因于 VLMs 的潜在空间几何及不同编辑方法如何影响其景观。
总体而言，M3Bench 为多模态模型编辑建立了严格的临床压力测试，并为更安全的部署后适应提供了可行的指导。该基准已公开发布，地址为 M3Bench GitHub。
博主点评： M3Bench 的推出为医疗领域的多模态模型编辑提供了重要的评估标准，尤其是在临床适应性方面。通过深入分析不同编辑方法的优缺点，研究人员能够更好地理解模型在实际应用中的表现，从而推动医疗 AI 的安全性和可靠性。