在受监管的领域，如银行业，基于大语言模型（LLM）的自动语音识别（ASR）面临隐私瓶颈：真实语音的收集成本高且法律限制严格，因此合成文本到语音（TTS）成为一个有吸引力的替代方案。
然而，合成语音与真实录音在声学上存在不匹配，这一问题的研究主要集中在监督微调（SFT）上。我们转向强化学习，展示了群体相对策略优化（GRPO）能够从相同的合成语音中提取更多信息。
相较于SFT，使用GRPO进行合成语音的模型适配将词错误率（WER）降低了40%（从36.71%降至22.09%），而SFT与GRPO的结合进一步提升至45%。我们追踪到这种提升源于行为而非表示：GRPO通过改善停顿校准和语音到文本的对齐，减少了插入错误，进而更好地将注意力锚定于音频，同时保持早期层的表示不变。
当合成语音成为主要资源时，强化学习应优于监督微调。
博主点评： 这项研究展示了强化学习在语音识别领域的潜力，尤其是在数据受限的情况下。GRPO方法通过改进模型的行为表现，显著提升了合成语音的识别准确性，为未来的语音技术应用开辟了新的路径。