NeFut Logo NeFut
EN 管理员登录

[AI学术] Multi2AV-Safety:多模态到音视频生成安全基准

发布于:2026-08-29 22:00 最后更新:2026-08-30 12:07
#AI #Machine Learning

音视频生成正从单一提示驱动转向多模态条件化,文本、图像、音频和视频可以共同决定生成内容。这一转变使安全评估的焦点从单一输入的有害意图转向跨模态、跨时间的组合风险。现有安全基准大多仍围绕单一提示或固定的条件接口,难以系统研究这种组合风险。

为填补空白,我们推出 Multi2AV-Safety——截至目前首个覆盖所有 11 种非单一 T/I/A/V 条件组合的音视频生成安全基准,收录 11,024 条攻击实例。评测表明,代表性的多模态安全防护在不同攻击手段和危害证据结构上均表现出系统性薄弱。

我们观察到两类互补的失效模式:一是单个输入看似无害,但组合后会产生有害语义;二是显式的有害线索在与良性多模态上下文混合后变得更难被检测。

这些结果指向“组合风险感知”是当前安全防护的核心能力缺口:即使所有条件输入均可观测,现有防护仍难以在模态和时间维度上可靠整合安全证据。数据集计划于 2026 年 10 月公开发布。

博主点评:Multi2AV-Safety 揭示了多模态生成系统在安全评估上的盲点,为后续防护模型提供了明确的改进方向。

原文链接: https://arxiv.org/abs/2608.26535

[h] 返回首页