NeFut Logo NeFut
EN 管理员登录

[AI学术] 最佳选择法在TTS评估中的ASR家族影响探讨

发布于:2026-07-11 22:00 最后更新:2026-07-13 08:40
#AI #Machine Learning #Open Source

在零-shot文本到语音(TTS)中,最佳的选择法(Best-of-$N$,BoN)通过从$N$个候选中选择,并利用自动语音识别(ASR)验证器来提高内容一致性。然而,我们发现一个未被充分探讨的评估混淆因素:验证器的质量在很大程度上依赖于哪个ASR家族来评判它。

在LibriSpeech-PC test-clean数据集上,使用F5-TTS时,验证器的排名在Whisper、wav2vec~2.0和HuBERT评估器之间发生了逆转。同一家族的验证器-评估器对比跨家族对比恢复了2-3倍的oracle潜力,尽管它们的表示几乎相同(线性CKA为$0.978$)。这种模式表明了身份或谱系级别的耦合,而不是表示重叠。

我们提出了两种交叉家族排名集成方法(rank-averaging和conjunctive max-rank),在三个独立评估器中达到了最低的平均字错误率(WER)——在$N{=}10$时为$1.61\%$(相对F5-TTS减少$12\%$),且在自动SIM-o/UTMOS指标下没有可测量的退化。最佳单一验证器使WER从$2.06\%$降低到$1.72\%$(减少$16.5\%$),在官方F5-TTS评估器下表现显著。我们建议采用交叉评估者三角测量作为默认报告实践。

博主点评: 本文揭示了TTS评估中ASR家族的影响,强调了验证器与评估器之间的匹配重要性。提出的交叉家族排名集成方法显著降低了错误率,展示了多评估者策略在提升TTS系统性能中的潜力。对于研究者来说,交叉评估者的使用将有助于提供更可靠的结果。

原文链接: https://arxiv.org/abs/2607.08256

[h] 返回首页