ChatTTS的TTS模型「TTS全称：Text To Speech（也就是文本转语音模型）

该模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。作者还留着一个10w小时训练数据的版本

效果试用

来自本地部署模型的推理和语音效果：

语音效果

效果确实很不错， 接近真人语音语调。但是和 GPT-SoVITS 比起来并没有更惊艳， 不过对比起来它用的更接近日常普通人的音色， 可能会给人感觉更接近真实。  对比参考：

https://waytoagi.feishu.cn/wiki/StNuwZqh7iC2utkbxaNck9Gnn4e

运算速度

基于 L4 GPU 本地部署， 22s 的音频需要 12s 的推理时间。

如果用 4090， 速度差不多是 L4 的 2 倍， 也就是差不多需要 6s 左右。

当然这个模型还没有做优化， 如果做了优化， 有希望在 4090 上只用 2～3s 推理时间。

功能试玩

一、音色更换

二、语气停顿更换

这是 chatTTS 中最有价值的功能。目前开源项目提供了三个提示词， 玩法类似 Suno 里的提示词， 这些词不会被直接念出来， 但是会结合上下文来调整原有语音。从官方说法， 他们将逐渐支持更多这类嵌入的提示词 （见下图）。

下面是一些测试

三、念数字

四、中英文混搭

 五、对比总结

相比 GPT-SoVITS 它的优势：

• 在不改变输入的文字， 不改变 Audio Seed 和 Text Seed 的情况下， chatTTS 生成的声音效果包括语气， 音色， 语气停顿都稳定。

• [uv_break]之类的提示词的使用， 让 TTS 产生更接近人的情感， 语气和语速。 

• 相比之下它的中英文混搭效果更自然， 念数字也会考虑“个十百千万”， 而不是单调的念数字。

安装部署

在 linux 上部署很简单， 比 GPT-SoVITS 更容易， 不需要自己下载模型放模型。当然本地部署的前提， 依旧是你有一张 GPU 显卡， 4G 以上显存。

简单步骤如下：

1. 下载代码仓库

git clone https://github.com/2noise/ChatTTS.git

2. 安装依赖 （⚠️ 这里有两个依赖它没有放在 requirement.txt 里）

cd ChatTTSpip install -r requirement.txtpip install gradiopip install WeTextProcessing

3. 启动 webui 的 demo 程序， 然后用浏览器登陆这个服务器的 ip:8080 就能试玩了

python ./webui.sh --server_port 8080

这个 demo 本身提供了 3 个参数：

• server_name: 服务器的 ip 地址， 默认 0.0.0.0

• servic_port: 即将开启的端口号

• ocal_path: 模型存储的本地路径

4. 第一次启动后生成语音时， 需要看下控制台输出， 它会下载一些模型文件， 因此比较慢， 而且可能因为网络的问题有各种失败。但是第一次加载成功了， 后面就顺利了。

5. 基于这个基础已经可以开始拓展了， 比如把它集成到 agent 的工具中去， 比如结合 chatgpt 来做更拟人化的实时沟通。

6. webui 上可以设置的几个参数说明：（参考下图）

• text:指的是需要转换成语音的文字内容。

• Refine text:选择是否自动对输入的文本进行优化处理。

• Audio Seed: 语音种子， 这是一个数字参数，用于选择声音的类型， 默认值为 2，是一个很知性的女孩子的声音。

• Text Seed: 文本种子， 这是一个正整数参数，用于 refine 文本的停顿。实测文本的停顿设置会影响音色， 音调。

• 额外提示词 （可以写在 input Text 里）:用于添加笑声、停顿等效果。例如，可以设置为[oral_2][laugh_0][break_6]。

目前存在的问题

语音生成基本功能

• 支持的语音时长不超过 30s， 超过 30 秒的需要特别修复。

• 某些 audio seed 在念某些语句时会丢失一些语句。

• Refine 过程中有些字会被丢失， 比如“儿童节”在大概率会被 refine 成“童节”， 丢失一个“儿”字。 

• 解决方法：跳过自动 refine， 以手动修改文本的方式来控制停顿。

• 即使同一个 audio seed， 如果使用不同的语句分段方式， 或者不同的 text seed， 生成的音色也不是很稳定， 会给人感觉不是同一个人的声音。

代码 Bug

uv_break 等提示词可能会在 refine 之后缺少[]， 甚至有时候在有中括号的情况下也会被念出来， 听多了， 容易被洗脑， 不自觉的自己说话也念出 uv break 作为口头禅。  （多听几遍， 很有那种 m3？的洗脑上头效果?）

没提供微调 SFT 的接口

当然在底模已经提供的情况下， 我们自己调用模型来做微调是可以的， 但是项目本身没有提供相关的代码， 对于大多数人来说， 微调， 或者说声音克隆就成了一个门槛。

本模型特别声明

不支持商用， 仅用于学术研究

• ⚠️ 在生成的语音内， 作者加了听不见的噪音水印， 可以很容易的被检测出来是他的模型生成的语音。

• ChatTTS 还没放出训练代码无法自己克隆声音

• 作者还只放出了4w小时训练的版本，确保这个模型的声音能被ai检测出来。作者还留着一个10w小时训练数据的版本

关于 chatTTS 未来的思考

1. 产品化

这只是一个基础模型， 包括 webui 也只是写的一个建议的演示。使用下来， 如果需要产品化， 需要通过大量的测试， 来固化配置几种音色， 并赋予他们从文字上比较容易理解的音色标签， 方便用户选择。比如 “可爱萝莉音”， “男娘音”之类的。同时它 1 秒才生成 1～2 秒音频的推理速度也是值得诟病的一个问题， 需要极大的优化。

2. 合成检测和声音版权问题

从声音的拟人化越来越像开始， 社会上就一直在思考这两个问题：反诈骗， 和声音的版权。相信未来这两个领域会随着 TTS 越来越成熟， 也越来越急迫需要得到解决。 

相关链接

Huggingface

https://huggingface.co/2Noise/ChatTTS

Github

https://github.com/2noise/ChatTTS

ChatTTS-UI 

https://github.com/jianchang512/ChatTTS-ui

GPT-SoVITS Github

https://github.com/RVC-Boss/GPT-SoVITS

ChatTTS出来好几天了，一直没看见replicate上有能直接运行的模型项目，就自己动手写了一个。

链接：https://replicate.com/thlz998/chat-tts

设置为public的，可以直接运行或者调用API。

其他TTS项目

Bark 

是 Suno AI 提出的基于 transformer 的 TTS 模型。该模型能够生成各种音频输出，包括语音、音乐、背景噪音以及简单的音效。此外，它还可以产生非语言语音，如笑声、叹息声和抽泣声等。其中以语气和笑声效果作为主要优势。

https://github.com/suno-ai/bark

Piper TTS（Text-to-Speech）

是一个基于神经网络的文本到语音系统，专门为低功耗计算机和硬件如树莓派（Raspberry Pi()）优化。其核心在于快速、灵活且易于部署的文本到语音解决方案，特别适合需要在资源受限的设备上运行的场景。

https://github.com/rhasspy/piper

GradTTS

作为灵活性架构模型的代表，其通过结合扩散概率模型()、生成分数匹配和单调对齐搜索等先进技术，提供了一种高效且高质量的文本到语音解决方案。其灵活的框架和广泛的应用前景使其成为当前文本到语音领域的一个重要里程碑。

https://github.com/WelkinYang/GradTTS

Matcha-TTS 

提供了一种高效、自然且易于使用的非自回归神经TTS解决方案，适用于多种应用场景。

https://github.com/shivammehta25/Matcha-TTS

bertvits2

FishAudio下的全新自回归TTS Fish-Speech现已可用，效果为目前开源SOTA水准，且在持续维护，推荐使用该项目作为BV2/GSV的替代。本项目短期内不再进行维护

https://github.com/fishaudio/Bert-VITS2

Fish-Speech

FishAudio下的全新自回归TTS Fish-Speech现已可用，效果为目前开源SOTA水准，且在持续维护，推荐使用该项目作为BV2/GSV的替代支持中/日/英三语合成

https://github.com/fishaudio/fish-speech

推理地址：

https://fs.firefly.matce.cn/

项目开发&FishAudio leader：@冷月2333

Demo Video: 

https://www.bilibili.com/video/BV18E421371Q 

Tech slides Video: 

https://www.bilibili.com/video/BV1zJ4m1K7cj

其他开源声音克隆

倪小末推荐

GPT-SoVITS

https://github.com/RVC-Boss/GPT-SoVITS

对中、英、日语言支持良好，需要 10 分钟左右干素材，瞬时 clone 功能未开放。

OpenVoice

https://github.com/myshell-ai/OpenVoice

对中文支持较好，主打瞬时 clone，发展势头良好，一个月前测试时中文声音 clone 有英语味道。

一些补充

来自官方 FAQ

连不上HuggingFace

请使用modelscope的版本. 并设置cache的位置：

chat.load_models(source='local', local_path='你的下载位置')

我要多少显存? Infer的速度是怎么样的?

对于30s的音频, 至少需要4G的显存. 对于4090, 1s生成约7个字所对应的音频. RTF约0.3.

模型稳定性似乎不够好, 会出现其他说话人或音质很差的现象.

这是自回归模型通常都会出现的问题. 说话人可能会在中间变化, 可能会采样到音质非常差的结果, 这通常难以避免. 可以多采样几次来找到合适的结果.

除了笑声还能控制什么吗? 还能控制其他情感吗?

在现在放出的模型版本中, 只有[laugh]和[uv_break], [lbreak]作为字级别的控制单元. 在未来的版本中我们可能会开源其他情感控制的版本.