模型合并是一种在不进行全模型再训练的前提下，快速构建多任务大语言模型（LLM）的方法，但参数干扰仍是主要瓶颈。现有方案侧重保持各专家模型的能力并减轻干扰，却很少直接利用朴素合并（如任务算术）产生的性能退化信息。CoMerge 将模型合并重新表述为偏好优化问题，提出自监督的冲突驱动策略：把朴素合并的缺陷视为硬负样本，构造无标注的偏好对。随后在张量级别上对轻量的合并系数进行偏好优化，使模型在缓解参数空间冲突的同时保留任务专属性能。实验在 MergeBench 上实现 0.9968 的平均归一化得分，全面超越所有数据无关和数据相关的基线；在 Llama-3.1-8B‑Instruct 上，对指令遵循和安全等冲突敏感任务有显著提升，且仅优化 1,445 个标量系数的情况下，性能已接近全参数微调。
点评