摘要
多模态持续指令调优（MCIT）对于将多模态大语言模型（MLLMs）适应于不断演变的下游任务序列至关重要。以往的方法大多采用专家混合或扩展合并方式，主要关注灾难性遗忘，但在推理过程中仍然面临负干扰的问题，新学习的更新往往会覆盖有用的先前知识，从而降低整体性能。
为了解决这一问题，我们提出了SiGMA（Sign Guided Merging and Adaptation），这是一个简单而有效的框架，通过两个组件来减轻负干扰：训练过程中的符号引导自适应调优和推理过程中的符号引导合并。
符号引导自适应调优减少了与过去知识的冲突，以最小的漂移学习当前任务，从而减轻了严重的遗忘。符号引导合并进一步通过选择性地缩放显著参数来改善知识的巩固，以保留和增强有用的任务特定知识。
在UCIT和DCL基准上的实验表明，SiGMA显著减少了负干扰，并超越了当前最先进的MCIT方法。我们的代码可在SiGMA上获取。
博主点评： SiGMA的提出有效解决了多模态学习中的负干扰问题，通过符号引导的方式为模型的知识保留和更新提供了新思路，展现了在持续学习中的重要应用潜力。其在UCIT与DCL基准上的表现也证明了其优越性，值得关注与深入研究。