Stability AI一种新型随心所欲生成不同音调、口音、语气的文本到语音（TTS）音频模型

该模型无需提前录制人声样本作为参考，仅凭文字描述就能生成所需的声音特征。用户只需描述他们想要的声音特点，例如“一个语速较快、带有英国口音的女声”，模型即可相应地生成符合要求的语音。它不仅能模仿已有的声音，还能根据用户的描述合成全新的声音，展现出强大的语音生成能力。这一特性使得该模型在语音合成领域具有极高的灵活性和实用性。

官方介绍网站：
https://www.text-description-to-speech.com/

项目及演示：
https://text-description-to-speech.com

论文链接：
https://arxiv.org/abs/2402.01912

主要功能特点：

1. 高保真语音生成：此模型能依据文字描述，在各种口音、韵律风格、通道及声学条件下，生成高度真实的语音，为用户带来丰富多样的听觉盛宴。
2. 自然语言控制：借助自然语言提示，用户能直观地定制说话者的身份与风格，无需依赖语音录音。这种简化的语音生成流程更加灵活，便于使用。
3. 可扩展的标记方法：研究团队创新了一种可扩展的标记手段，用于标识说话者身份、说话风格及录音条件。这种方法支持在大型数据集上训练模型，进而提升了模型的适用性和灵活性。
4. 音频质量的显著提升：通过采用新方法，音频保真度得到了显著提升。即便完全依赖现有数据，该方法也能超越近期同类工作，使语音更加清晰、逼真。
5. 属性细粒度控制：该模型支持对语音属性的精细控制，涵盖性别、说话者音调、音调调制、说话速度、通道条件及口音等多个方面。这为用户提供了定制化的语音输出选择，满足个性化需求。
6. 创造新的声音：此模型不仅限于模仿已知声音，更能根据文字描述创造出全新、独特的声音风格和特征，为用户带来前所未有的听觉体验。

他们使用了一个包含45,000小时语音记录的庞大数据集来训练人工智能模型。这个模型能够学习并模仿人类语音的多种特征，如性别、口音、说话速度和音调。尽管数据集中高质量录音的比例较小，研究者们仍然通过技术手段利用这些样本提高了模型生成语音的自然度和真实感。这意味着，即使使用有限的高质量语音数据，该模型也能生成听起来非常自然和真实的人声，这是一个技术上的重大突破。