粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
本期推荐开源项目目录：
1. ChatTTS：革新对话式文本转语音技术
2. 腾讯AI实验室推出：一键生成逼真口型视频
ChatTTS：革新对话式文本转语音技术
import ChatTTS from IPython.display 、
import Audio chat = ChatTTS.Chat()
chat.load_models(compile=False) # 设置为True以获得更快速度
texts = ["在这里输入你的文本",]
wavs = chat.infer(texts, use_decoder=True)
torchaudio.save("output1.wav", torch.from_numpy(wavs[0]), 24000)
如下是一个样例：
inputs_cn = """
chat T T S 是一款强大的对话式文本转语音模型。它有中英混读和多说话人的能力。
chat T T S 不仅能够生成自然流畅的语音，还能控制[laugh]笑声啊[laugh]，
停顿啊[uv_break]语气词啊等副语言现象[uv_break]。这个韵律超越了许多开源模型[uv_break]。
请注意，chat T T S 的使用应遵守法律和伦理准则，避免滥用的安全风险。[uv_break]'
""".replace('\n', '')
params_refine_text = {
'prompt': '[oral_2][laugh_0][break_4]'
}
audio_array_cn = chat.infer(inputs_cn, params_refine_text=params_refine_text)
# audio_array_en = chat.infer(inputs_en, params_refine_text=params_refine_text)
torchaudio.save("output3.wav", torch.from_numpy(audio_array_cn[0]), 24000)
V-Express 是由腾讯 AI 实验室（Tencent AI Lab）开发的一项创新技术，旨在通过控制一张参考图片、一段音频和一系列 V-Kps（视觉关键点）图像来生成逼真的口型视频。
这项技术通过渐进式训练和条件性丢弃（Conditional Dropout）的方法，平衡了不同控制信号，使得生成的视频能够同时考虑姿势、输入图像和音频。
比如说你只有一张泰勒斯威夫特的静态照片，只需要再给模型输入一段音频、视频关键点，这个模型就能生成逼真的口型视频。会将音频中的内容读出来。
通过一系列渐进式的丢弃操作，V-Express逐渐启用了对弱条件的有效控制，从而实现了同时考虑姿势、输入图像和音频的生成能力。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？
2024-08-15
对话AI教育从业者们：AI如何解决因材施教的难题？
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及：NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26
回到顶部