FlashSpeech：高效的大规模零样本语音合成系统

语言模型和扩散模型极大地推进了大规模零样本语音合成的最新进展。然而，这两种方法的生成过程都很慢并且计算量大。使用较低的计算预算实现高效的语音合成以达到与以前的工作相当的质量仍然是一个重大挑战。

音频样本：https://flashspeech.github.io/

AI工具专区：
https://heehel.com/category/ai-soft

AIGC专区：
https://heehel.com/category/aigc

在本文中，研究团队提出了 FlashSpeech，这是一种大规模零样本语音合成系统，与之前的工作相比，推理时间缩短了约 5%。 FlashSpeech 建立在潜在一致性模型的基础上，并应用了一种新颖的对抗性一致性训练方法，可以从头开始训练，而不需要预先训练的扩散模型作为教师。

此外，新的韵律生成模块增强了韵律的多样性，使语音的节奏听起来更加自然。 FlashSpeech 的生成过程可以通过一两个采样步骤高效地实现，同时保持高音频质量和与音频提示的高相似性，以实现零样本语音生成。研究团队的实验结果证明了 FlashSpeech 的优越性能。值得注意的是，FlashSpeech 的速度比其他零样本语音合成系统快约 20 倍，同时在语音质量和相似性方面保持可比的性能。此外，FlashSpeech 通过高效执行语音转换、语音编辑和多样化语音采样等任务，展示了其多功能性。

文献介绍：https://huggingface.co/papers/2404.14700