摘要
语音转文本对齐是指寻找音频中每个单词的时间边界。一些模型直接提供这种对齐，而另一些则不然。连接时序分类（CTC）和变换器模型通过构造提供对齐，而基于注意力的编码-解码器（AED）和语音大语言模型（LLMs）则通常通过注意力权重读取其单词时间。这些信号都位于编码器帧网格上，限制了它们的时间精度。
我们研究了一种通用的基于梯度的对齐方法，适用于任何可微分的ASR模型。我们对每个教师强制的标记对数概率相对于输入的梯度进行计算，将其简化为每帧的显著性，并通过一次动态规划解码得到单词边界。该方法无需训练、无需模型修改，也不需要对齐头，适用于包括语音LLM在内的所有模型系列，并在输入网格上进行对齐，而不是较粗糙的编码器网格。
我们在四个系列的十六个模型上进行了评估，涵盖了阅读（TIMIT）和自发（Buckeye）语音，每个模型均与其本身的本地或基于注意力的对齐进行比较。我们发现，梯度为每个模型提供了可用的对齐，通常在强大的本地对齐器之后，但在本地对齐弱的情况下（如流式模型）表现更好，其主要缺点是每个标记需要一次反向传递的计算成本。
博主点评： 本文提出的基于梯度的对齐方法具有广泛的适用性和灵活性，能够有效地适应不同的ASR模型，而无需进行复杂的模型修改。这一创新不仅提升了对齐精度，也为未来的语音识别系统提供了新的思路。其在流式模型中的优势尤其值得关注，未来或能进一步推动实时语音识别技术的发展。