摘要
在真实对话混合环境中，训练目标说话人提取（TSE）模型面临巨大挑战，因为缺乏大规模的训练语料库和清晰的目标语音监督。我们提出了PS4，一个用于真实对话混合的代理监督训练框架，具有两大主要贡献。
首先，我们构建了一个包含71,771个训练样本的大规模语料库，样本来源于四个公共数据集，覆盖中文和英文场景。每个样本包括重叠的语音混合、每个说话人的入会音频、真实转录文本和帧级语音活动标签。
其次，我们提出了一种代理监督的联合训练策略，该策略通过四个互补的可微分目标对基于BSRNN的TSE模型进行微调：ASR交叉熵、说话人相似度、帧级语音活动检测和感知音频质量。在微调过程中，从公开可用的预训练检查点开始，仅更新BSRNN分离器。在REAL-T挑战赛排行榜上，PS4在所有提交的系统中排名第二，取得了最佳的说话人相似度和时序F1成绩。
博主点评： PS4框架通过代理监督的方式有效地解决了真实场景中的目标说话人提取问题，尤其在数据稀缺的情况下展现了强大的潜力。构建的大规模语料库和多目标联合训练策略为未来的研究提供了新的视角。其在REAL-T挑战赛中的优异表现也证明了该方法的有效性。