引言
图像保护通常在固定的安全政策下进行训练和评估,隐含地将安全性视为图像的内在属性。然而,实际部署中,同一图像在不同产品中可能被允许、限制或因政策边界变化而被新禁。
研究目标
我们研究政策自适应图像保护,模型需判断图像是否违反当前提供的政策,并对未见的政策定义进行概括。
PolicyShiftBench
我们引入了PolicyShiftBench,这是一个综合基准,包含2000个政策区分实例,基于265张图像,每张图像平均配有7.55个政策条件提示,以测试模型是否能适应当前政策,而不是依赖于图像级别的安全先验。
PolicyShiftGuard
我们提出了PolicyShiftGuard,这是一种紧凑的政策条件保护机制,采用了两阶段的训练方案,将随机化政策SFT(RP-SFT)与边界对政策适应(BP-Adapt)结合。BP-Adapt使用标准标签监督和成对比较损失来训练相同图像和风险类别的匹配提示,从而区分阻止政策和通过政策。
实验结果
实验表明,现有的VLM和专用保护机制在政策变化下依然脆弱,而PolicyShiftGuard显著提高了政策敏感性能。7B模型在PolicyShiftBench上实现了76.9的平均F1和72.1的平均PSS的SOTA性能,良好适应UnSafeBench和SafeEditBench,并通过简洁的输出格式改善了延迟性能权衡。消融实验确认,匹配的通过/阻止边界对对稳定的政策适应至关重要。
博主点评: PolicyShiftGuard的引入为图像保护领域带来了新的视角,特别是在动态政策环境中。这种方法不仅改善了模型的适应性,还为未来的研究提供了重要的基准与思路。其在多个基准上的表现也显示了政策适应的实际应用潜力。