在语音处理领域，语音分割与识别是密切相关的任务，但现代方法通常将其分开建模。我们认为，音素结构已在自监督语音模型（S3Ms）的表示中潜在存在，只需适当引导即可同时解决这两个任务。我们利用基于S3M的音韵激活映射（SPAM），将每个S3M表示框架映射到音韵特征激活向量，如发声与鼻音。基于SPAM，我们引入了两个简单而有效的轻量级预测头：识别头和分割头。我们的方法仅需不到一分钟的音素转录，并且在训练过程中能够推广到未见过的音素。我们的方法在多种数据集上展现出强大的分割与识别性能。
博主点评： 该研究通过音韵激活映射有效整合了语音分割与识别，展示了自监督学习在音素任务中的潜力。使用轻量级预测头的设计降低了计算复杂性，使其在实际应用中具有更高的可行性与灵活性。值得关注的是其在未见音素上的泛化能力，预示着未来语音处理的广泛应用前景。