NeFut Logo NeFut
EN 管理员登录

[AI学术] LLM 解毒通过转移感知奖励引导的表征采样

发布于:2026-11-03 22:00 最后更新:2026-11-05 00:45
#Machine Learning #LLM

大型语言模型(LLM)在生成文本时可能出现有害内容,迫切需要在推理阶段进行有效的解毒。现有的表征引导方法多依赖静态或粗糙的干预,未能准确捕捉有害向无害的转移过程,导致指导信息不够精细。

我们提出 Transition-Aware Reward-Guided Representation Sampling(TARGRS),在潜在表征空间学习基于毒性转移的奖励引导。探索阶段沿毒性方向逐步推进,构造从无害到有害的轨迹,并在轨迹上计算毒性得分,将稀疏标注转化为密集的列表监督,用于训练转移感知的 token 级奖励模型。

推理阶段利用该奖励模型沿相反的无害方向进行粗细采样。粗采样估计进入无害区域所需的干预量,细采样在保持最小扰动的前提下挑选出解毒后的表征。

在 RealToxicityPrompts、BOLD 与 AttaQ 三个基准上对 10 种 LLM 进行评估,TARGRS 相比最先进基线在 RealToxicityPrompts 上最高降低 69.38% 的毒性。其运行速度几乎与原模型持平,对核心生成能力影响极小。对大型视觉语言模型(LVLM)同样适用,3 种代表性模型的毒性最高下降 64.23%。

通过在解码器潜在空间直接干预,TARGRS 实现了高效、低侵入的解毒,同时保持了生成质量。

点评:该框架在保持模型能力的前提下显著降低有害输出,展示了转移感知奖励在安全对齐中的潜力。

原文链接: https://arxiv.org/abs/2610.41165

[h] 返回首页