摘要
表示对齐（REPA）已被研究以加速扩散训练，但我们观察到在扩散 Transformer（DiT）中对中间表示的正则化可能隐式纠缠潜变量并限制生成能力。
为了解决这个问题，我们提出了 ReGen，一个层次化的多提示表示生成框架，可以在单一扩散模型中联合估计表示和数据的多个向量场。
我们进一步引入了广义流匹配（GFM）来改善条件流匹配（CFM）的泛化能力。我们在包括神经音频编解码器和 Wave-VAE 的单阶段波形扩散模型上验证了 ReGen。ReGen 显著提升了在 12.5 Hz 下从高度压缩的潜在表示生成波形的质量。
此外，我们还提出了 ReGenVoice，一个基于潜在扩散模型（LDM）的文本到语音模型，其在小数据集上实现了强语音可懂度（WER）和说话者相似性（SIM）。
通过在 6.25 Hz 运行 LDM，丰富的语义和声学潜在表示使得高效训练和采样成为可能，仅需在 4 个 GPU 上训练 1 天，并以 0.08 的实时因子进行快速推理。音频样本可在 ReGenVoice Demo 获取。
博主点评： ReGen 的提出标志着波形生成领域的重要进步，通过多提示表示生成和广义流匹配的结合，提升了生成质量和效率。该研究为音频处理和生成任务提供了新的视角，尤其是在资源受限的情况下。值得注意的是，ReGenVoice 在小数据集上的表现令人印象深刻，展示了其在实际应用中的潜力。