NeFut Logo NeFut
EN 管理员登录

[AI学术] 使用学习前瞻与平衡频段的扩散语言模型水印技术

发布于:2026-10-26 22:00 最后更新:2026-10-27 00:43
#algorithm #Machine Learning #LLM

绿色‑红色水印通过一个由前缀令牌派生的密钥生成绿名单,倾向于选择绿名单中的词。扩散语言模型(Diffusion LM)常常在其前置令牌出现之前就决定当前词,而该词随后又会影响其邻近位置的绿名单。于是已有方法只能在每一次选择时倾斜概率,以提升自身及相邻位置的期望绿词数。

本文在该目标函数上做两项改进:第一,学习词表频段(vocabulary bands)作为绿名单,使其能够区分竞争候选并保持空分布(null distribution)精确;第二,训练前瞻预测器(foresight predictor),估计每个候选词对其邻居预测的位移。

此外,我们的计数方式与检测器保持一致:对每一对唯一的上下文‑词组合只计一次绿词,重复出现不再获得额外计分。

在 WaterBench 基准上使用 LLaDA‑8B‑Instruct 进行实验,单独学习的两项组件在相同失真下均提升了 z‑score,且提升效果近乎线性相加。配合强水印时,模型在 1% 假阳性率下能够检测到至少 96% 的回复,同时保持与未加水印文本相同的 LLM‑judge 评分。对 Dream 数据集的检测率进一步提升,对代码和问答任务的检测率不低于或超过基线,且任务准确率几乎不受影响。

原文链接: https://arxiv.org/abs/2610.32205

[h] 返回首页