摘要
大型语言模型（LLMs）取得了显著成功，但也引发了关于内容来源和滥用的担忧，促使人们需要可靠的水印技术。然而，这些技术在实践中很少被采用，主要有两个原因：一是模型性能严重下降，二是额外的推理开销。为确认这一问题，我们构建了一个全面的基准，涵盖不同的生成任务，系统评估了9种代表性的水印方法。我们发现，几乎所有现有方法都是为了文本流畅性而设计，而不是针对受限和复杂的任务，其开销也阻碍了它们在延迟敏感系统中的部署。
为了解决这两个问题，我们提出了一种针对日益流行的专家混合（Mixture-of-Experts, MoE）LLMs的水印方案——WaterMoE。WaterMoE通过在每个路由器的专家选择中嵌入受控扰动来传递水印信号，这种扰动在最终输出中积累为令牌选择的偏移。与后处理的令牌采样水印方法相比，WaterMoE在推理循环中嵌入水印，几乎不影响质量并且计算开销微乎其微。大量实验表明，我们的方法在保真度性能上接近未加水印的情况，并且在基准测试中始终优于现有的最先进水印方法，速度提升高达4倍，相较于原生生成仅增加1%的推理延迟。结果表明，WaterMoE能够在实际任务中得到有效部署。
博主点评： WaterMoE通过在推理过程中嵌入水印信号，成功解决了传统水印方法带来的性能损失和推理开销问题，展现出其在实际应用中的巨大潜力，尤其是在延迟敏感的环境中表现尤为突出。其创新的专家路由机制为进一步研究提供了新的思路。