NeFut Logo NeFut
EN 管理员登录

[AI学术] CAST-Bench:多镜头音视频生成中的声音来源追踪基准

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#algorithm #AI #Machine Learning

CAST-Bench 是一个用于多镜头音视频生成的基准,旨在将每个生成的声音追溯到其预期来源。核心思想是把 T2AV 正确性定义为视听契约:每个请求的声音必须由正确的视觉主体发出,同步出现并携带正确的语义。基准包含 900 条提示,分为 9 类声源(语音、动物、乐器、环境声等),每类 100 条。提示中 439 条为单镜头,461 条为多镜头叙事,均来源于结构化规格,明确音频事件的发声体、主体和时间槽。评估套件提供 18 项指标,覆盖视觉表现、内容一致性、音频与语义对齐三个维度。我们在 12 种代表性生成模型上进行基准测试,发现视觉质量已接近饱和,而音频语义得分仍有显著差异。多镜头提示在子集特定评分规则下得分更低,且模型排名会改变。多人语音、跨镜头说话人身份一致性以及跨镜头事件保留是当前主要未解决的问题。所有提示和评估代码已开源。

点评:CAST-Bench 揭示了多镜头音视频生成在声音来源追踪上的瓶颈,为后续模型提供了细粒度的评估方向。

原文链接: https://arxiv.org/abs/2611.05422

[h] 返回首页