NeFut Logo NeFut
EN 管理员登录

[AI学术] 引导视觉语言模型实现位置披露的视觉上下文隐私

发布于:2026-10-23 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #Neural

视觉语言模型(VLM)能够从细微的视觉线索推断出地理位置等敏感信息,导致在回答中披露的细节超出图像所呈现的上下文,从而产生隐私风险。本文聚焦于视觉上下文隐私,即模型应仅在与图像内容相匹配的粒度上提供位置信息。我们首先发现,即使生成的回答与期望不符,预生成的隐藏状态中仍能恢复出适当的粒度,且披露层级沿着同一隐藏状态方向呈有序结构。基于此,我们提出了一种推理时的路由‑引导框架:一个序数粒度路由器将视觉上下文隐私表征映射到披露路径,随后一个条件化的引导模块在解码过程中对特定路径的隐藏状态进行干预。该方法在四种 VLM 主干上提升了视觉上下文感知的披露对齐度,能够更好地平衡过度披露与不足披露,仅对通用能力基准造成轻微影响,并且能够迁移到具有不同数据分布和隐私风险分类的另一个数据集。

点评

原文链接: https://arxiv.org/abs/2610.27323

[h] 返回首页