粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
近日，一个名为 ChatTTS 文本转语音项目爆火出圈，短短三天时间，在 GitHub 上斩获 9.2 k 的 Star 量，引发极大关注。
据悉，该模型支持中文和英文，适用于大型语言模型助手的对话任务、对话语音和视频介绍等，被誉为突破开源语音天花板。
作者 | 陈萍、佳琪
来源 | 机器之心
未来人与人的交流，难道是这个样？
近日，一个名为 ChatTTS 文本转语音项目爆火出圈，引来大家极大的关注。短短三天时间，在 GitHub 上已经斩获了 9.2 k 的 Star 量。
作者本人也在 x 上表示，ChatTTS 突破了开源天花板。不过，目前开源的只是底模，没有经过 SFT 监督微调。
该项目将文本转换成语音，效果是这样的：
ChatTTS 不仅能说中文，英文也能 hold 住，还支持一些细粒度控制，它允许你加入笑声、说话间的停顿，还有语气词，可玩性很强。
它可以复刻已经逝去的人的绝版声音，想要再听到乔布斯开发布会，随时都可以。听它模仿霉霉的音色，不论是语调还是语气的变化，都挺接近本人，几乎听不出来 AI 味儿。
中英文混说也能拿捏，这口半英半中的腔调勇闯留子圈，ChatTTS 的语言能力已达到 next level。
以上音频来自 B 站：
https://www.bilibili.com/video/BV1zn4y1o7iV/?share_source=copy_web&vd_source=983ec32a3036bb1cf2699e4fdbce3c28
从上述展示中我们可以看出，ChatTTS 能够实现自然流畅的语音合成，同时支持多说话人；还能预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等；ChatTTS 在韵律方面超越了大部分开源 TTS 模型。
目前 ChatTTS 支持中文和英文。最大模型使用了超过 10 万小时的中英文数据进行训练。在 HuggingFace 中开源的版本为 4 万小时训练且未 SFT 的版本。
值得一提的是，上述展示的音频都是基于语音合成技术制作，旨在展示技术成果，无意冒犯或侵犯他人权益。
项目一经发布，各路网友纷纷试用起来，给出了声音确实真假难辨。
还有人拿 GPT 生成文本，让 ChatTTS「读」出来，语气语调和真人的差距非常小：
ChatTTS 主要有两种核心功能，第一种是文字转语音，第二种是将与大语言模型实时语音对话。在这些功能之外，可以在「Audio Seed」处调节数字指定说话人的音色，或者摇骰子随机生成一种。但是有不少测试者表示，每次采用一样的参数，生成的音色也不一定固定。
2Noise 称，目前支持音色克隆，但需要更大的数据量。
在文本框内输入文本后，ChatTTS 会自动为你生成韵律和停顿，还会加入一些如「然后」之类的语气词。如果你在输入时在文本中加入 [laugh] 和 [uv_break]，就能手动控制 ChatTTS 在说话间产生一些「笑果」。
不过 ChatTTS 现在还不能搞定比较长的文本，有网友让它挑战了一下有声书，发现初始版本不能生成超过 30 秒的音频，需要手动修复。遇到比较长的文本时，ChatTTS 的分词也会出问题。
*文章图片来源机器之心，如有侵权，请联系删除。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-09-20
财产险公司如何应用大模型？平安、太保等4家产险大模型实践
2024-09-20
万字长文｜国内AI+销售厂商图谱及选型研究
2024-09-20
Kimi 绘图大总结，估计 80% 的人都没试过！
2024-09-20
提示词工程技巧讲解：几句话即可提升LLM性能
2024-09-20
云栖大会Day1：云应用开发平台 CAP 来了
2024-09-19
o1发布后，信息量最大的圆桌对话：杨植麟、姜大昕、朱军探讨大模型技术路径
2024-09-19
【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？
2024-09-19
杨植麟、姜大昕、朱军云栖激辩：我们对大模型发展的预测，都过于保守了
2024-07-18
2024-03-30
2024-04-26
2024-04-11
2024-05-06
2024-06-12
2024-07-09
2024-05-09
2023-07-01
2024-07-25
2024-09-20
2024-09-20
2024-09-20
2024-09-20
2024-09-20
2024-09-19
2024-09-19
2024-09-19
回到顶部