AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


【通义千问Qwen-Audio开源大模型解读】阿里巴巴AI通义千问大模型系列(国内大模型)
发布日期:2024-04-18 08:07:13 浏览次数: 2638 来源:数字炼丹师


Qwen-Audio 是阿里云研发的大规模音频语言模型(Large Audio Language Model)。Qwen-Audio 可以以多种音频 (包括说话人语音、自然音、音乐、歌声)和文本作为输入,并以文本作为输出。Qwen-Audio 系列模型的特点包括:

  • 音频基石模型:Qwen-Audio是一个性能卓越的通用的音频理解模型,支持各种任务、语言和音频类型。在Qwen-Audio的基础上,我们通过指令微调开发了Qwen-Audio-Chat,支持多轮、多语言、多语言对话。Qwen-Audio和Qwen-Audio-Chat模型均已开源。

  • 兼容多种复杂音频的多任务学习框架:为了避免由于数据收集来源不同以及任务类型不同,带来的音频到文本的一对多的干扰问题,我们提出了一种多任务训练框架,实现相似任务的知识共享,并尽可能减少不同任务之间的干扰。通过提出的框架,Qwen-Audio可以容纳训练超过30多种不同的音频任务;

  • 出色的性能:Qwen-Audio在不需要任何任务特定的微调的情况下,在各种基准任务上取得了领先的结果。具体得,Qwen-Audio在Aishell1、cochlscene、ClothoAQA和VocalSound的测试集上都达到了SOTA;

  • 支持多轮音频和文本对话,支持各种语音场景:Qwen-Audio-Chat支持声音理解和推理、音乐欣赏、多音频分析、多轮音频-文本交错对话以及外部语音工具的使用。

基于Qwen-Audio,进一步开发了Qwen-Audio-Chat模型。这款模型支持多轮、多语言、多音频场景的对话,展示了其强大的通用音频理解和交互能力。Qwen-Audio-Chat与人类的意图一致,支持音频和文本输入的多语言、多轮对话,展现了全面且强大的音频理解。

Qwen-Audio和Qwen-Audio-Chat模型均已经开源,使得更多的人能够使用和参与其改进。开源的特性不仅推动了模型本身的发展,也为整个音频语言模型领域的研究和应用提供了重要的资源和参考。

总的来说,Qwen-Audio是一款功能强大、性能卓越的音频理解模型,其广泛的应用场景和开源的特性使得它在人工智能领域具有重要的价值和影响力。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询