在开放的大型语言模型(LLM)生态系统中，模型通常会在多个领域和应用中适应，形成多阶段的衍生链。因此，追踪和验证历史贡献对模型的来源和知识产权保护至关重要。现有的水印技术主要针对单用户、一次性嵌入，通常在重复模型衍生和增量更新中失效。
为了解决这个问题，我们提出了 LineageMark，这是一种用于模型衍生链的多用户白盒水印框架。该框架通过基于投影的方法将水印编码到模型参数中。首先选择稳定的载体以减少对模型变化的敏感性，每个水印位通过这些载体的投影统计来表示。额外的水印插入仅在投影空间中引入有限的扰动，并使用边际约束来保持信号的完整性。
我们评估了 LineageMark 在多阶段模型衍生链中的有效性。实验结果表明，LineageMark 能够在多阶段衍生中保留贡献者水印，并支持增量多用户水印插入。此外，它对诸如重新水印、微调、量化和剪枝等扰动表现出良好的鲁棒性。
博主点评： LineageMark 的出现为模型衍生链中的贡献追踪提供了创新解决方案，尤其是在多用户环境下的应用潜力巨大。其采用的投影方法有效降低了对模型变化的敏感性，确保了水印的持久性和可靠性，值得关注其在实际应用中的表现。