微信扫码
添加专属顾问
我要投稿
阿里巴巴最新开源多模态大模型,引领语音视频交互新纪元。 核心内容: 1. Qwen2.5-Omni模型发布,支持文本、图像、音频、视频等多种输入 2. 采用Thinker-Talker架构,实现实时语音视频聊天 3. 7B参数模型开源,性能全面超越单模态模型
现在,开发者和企业可免费下载商用Qwen2.5-Omni,手机等终端智能硬件也可轻松部署运行。
Omni 和创新架构:团队提出了 Thinker-Talker 架构,这是一个端到端的多模态模型,旨在感知包括文本、图像、音频和视频在内的多种模态,同时以流式方式生成文本和自然语音响应。此外,团队还提出了一种名为 TMRoPE(Time-aligned Multimodal RoPE)的新型位置嵌入,用于同步视频输入与音频的时间戳;
实时语音和视频聊天:该架构专为完全实时交互而设计,支持分块输入和即时输出;
自然且稳健的语音生成:在语音生成方面,Qwen2.5-Omni 超越了许多现有的流式和非流式替代方案,展现出卓越的稳健性和自然性;
多模态性能强劲:在与同样大小的单模态模型进行基准测试时,Qwen2.5-Omni 在所有模态上均展现出卓越的性能。Qwen2.5-Omni 在音频能力上超越了同样大小的 Qwen2-Audio,并且达到了与 Qwen2.5-VL-7B 相当的性能;
出色的端到端语音指令遵循能力:Qwen2.5-Omni 在端到端语音指令遵循方面的表现可与文本输入的有效性相媲美,这一点在 MMLU 和 GSM8K 等基准测试中得到了证明。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-28
程序员狂喜!DevDocs:开源AI文档神器,自动抓取+整理+喂给AI (MCP加持)
2025-04-28
DeepWiki深度探索:驾驭代码复杂性的AI百科全书
2025-04-28
Agent S2:像人一样操作 GUI,开源 AI 智能体新突破
2025-04-28
杨植麟再掀 AI 风暴!Kimi-Audio 如何让机器听懂人类 “弦外之音”?
2025-04-27
一文了解Text Embedding模型:从text2vec、openai-text embedding到m3e、bge(下)
2025-04-27
精选MCP服务器列表
2025-04-27
Google ADK框架:打造多智能体系统的开源利器
2025-04-27
DeepWiki 比较适合用来生成开发者手册,而不是用户手册
2024-07-25
2025-01-01
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-07-11
2024-06-12
2024-08-13
2024-12-26
2025-04-28
2025-04-21
2025-04-19
2025-04-17
2025-04-15
2025-04-13
2025-04-10
2025-04-07