NeFut Logo NeFut
EN 管理员登录

[AI学术] 这是谁的记录?在个性化多模态模型中诊断与授权记录使用

发布于:2026-09-07 22:00 最后更新:2026-09-08 00:37
#AI #Machine Learning #LLM

在视觉个性化任务中,模型可能检索到正确的记录,却将其错误地应用到不对应的视觉主体上。为此我们提出 记录授权 的概念,要求同时满足三条条件:主体存在 ($P$)、记录‑边缘有效性 ($E$) 和答案支持 ($S$)。若任意条件不满足,则出现 视觉记忆错误绑定(VMM)。

我们构建了 RecordAuth‑Diag,一个包含 3,690 条匹配案例的诊断套件。每条案例仅改变一张图像‑记录边缘,而保持查询、问题、记录文本以及图像集合不变。通过卡片移除和随机标签重新标记实验,发现这些错误主要归因于提供的记录本身。

在原始模型上,Qwen、Phi、Gemma 系列均出现未授权使用的情况。例如 Gemma‑3‑4B‑IT 在本地未授权使用率达 63.69%,而干净召回率仅为 25.75%。CoViP 的未授权使用率为 26.02%,其 Qwen 骨干在相似召回率下为 22.49%。

引入 类型化预生成授权 后,Qwen 在 RecordAuth‑Diag 上的卡片曝光率从 43.63% 降至 3.06%,正向召回率从 86.26% 降至 60.90%。完整的 $P\wedge E\wedge S$ 验证使用了 560 条本地化 DAVIS 案例:Top‑1 相关性和类型化授权的释放率分别为 28.93% 与 28.39%,但不安全释放率分别为 6.79% 与 0.89%。在额外去除的 33 条不安全案例中,27 条属于支持错误,4 条边缘错误,2 条干净错误,0 条边界错误。由此可见,观察到的提升主要来源于 $E\wedge S$ 决策,且以支持错误为主,而非单纯的边缘检查。

外观信息只能在主体存在 ($P$) 的前提下提供 $E$ 证据;通过对主体令牌进行认证,可补足缺失的存在见证,从而实现充分的控制。

点评:本文系统化地定义了记录授权条件,并通过大规模诊断套件量化了多模态模型的未授权使用风险。实验表明,类型化授权显著降低了卡片泄露,同时保持了合理的召回性能,为安全的视觉个性化提供了可操作的框架。

原文链接: https://arxiv.org/abs/2609.04801

[h] 返回首页