我要投稿

阿里发布Qwen2.5-Turbo，支持100万Tokens上下文！

发布日期：2024-11-21 07:09:10 浏览次数： 1837 来源：AIGC开放社区

阿里巴巴重磅发布了Qwen2.5-Turbo 版本。

为了满足用户和开发者的需求，阿里在Qwen2.5-Turbo 版本，将上下文从之前的128K扩展至100万tokens，相当于大约100万个英文单词或150万个汉字，足以涵盖10部长篇小说、150小时的演讲稿或3万行代码，使得模型的整体理解、生成能力获得大幅度提升。

在线demo：https://www.modelscope.cn/studios/Qwen/Qwen2.5-Turbo-1M-Demo

这种百万级上下文能力，使Qwen2.5-Turbo在处理复杂长文本任务时表现出色，例如，在大海捞针任务中，能够完美捕捉所有隐藏的数字，显示出在超长上下文中捕捉细节信息的强大能力。

Qwen2.5-Turbo还通过采用稀疏注意力机制，显著提高了推理速度，将生成首个token的时间从4.9分钟减少到了68秒，实现了4.3倍的加速，这意味着在实际应用中，能更快地响应用户的请求。

以理解长篇小说为例，Qwen2.5-Turbo能够处理包含690k tokens的三部《三体》系列小说，并提供英文的剧情摘要，这展示了它在深度理解长文本和跨语言摘要方面的强大能力。

尽管处理能力大幅提升，Qwen2.5-Turbo的价格却保持不变，为0.3元/1M tokens，用户可以以相同的成本处理更多的tokens，即3.6倍于GPT-4o-mini的tokens数量。

在扩展上下文长度的同时，Qwen2.5-Turbo几乎不影响短文本任务的能力，在短文本基准测试中，它在大多数任务上显著超越了之前上下文长度为1M tokens的开源模型，并且与GPT-4o-mini和Qwen2.5-14B-Instruct模型相比，在短文本任务性能接近的同时，支持8倍长度的上下文。

目前，Qwen2.5-Turbo主要通过API来使用，方式、标准和Qwen API相同，并兼容OpenAI的API。

获取API Key：首先，您需要在阿里云大模型服务平台注册并获取您的API Key。这个密钥是调用Qwen 2.5 Turbo API所必需的认证信息。

API地址：https://help.aliyun.com/zh/model-studio/developer-reference/what-is-qwen-llm

安装依赖：如果打算在Python环境中使用Qwen 2.5 Turbo，需要先安装OpenAI库。可以通过运行pip install openai命令来完成安装。

接下来，我们将通过一个简单的Python脚本示例来展示如何使用Qwen 2.5 Turbo的API。这个例子中，我们将读取一个包含长文本的文件，然后请求Qwen 2.5 Turbo对该文本进行总结。

当上述代码执行完毕后，completion.choices[0].message.content将包含Qwen 2.5 Turbo生成的文本摘要。

三大注意事项

API Key安全：请确保您的API Key不会泄露给第三方，避免未经授权的使用。

请求频率限制：根据阿里云平台的规定，可能存在一定的请求频率限制，请合理安排您的调用计划。

错误处理：在实际应用中，建议添加适当的错误处理逻辑，以应对网络问题或API调用失败的情况。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

太强了！10大开源大模型！

2024-05-06

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

中医大模型，开源！

2024-06-16

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

2024-06-15

教你使用Ollama在本地跑Llama3.1

2024-07-25

大家都在问

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

2024-11-22

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

2024-11-19

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

2024-11-13

NotebookLM+AI播客到底是什么神仙组合？

2024-10-07

阿里巴巴发布Qwen2.5，对标GPT o1？

2024-09-22

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

太强了！10大开源大模型！

Ollama 本地运行大模型(LLM)完全指南

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

中医大模型，开源！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

教你使用Ollama在本地跑Llama3.1

大家都在问

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

阿里巴巴发布Qwen2.5，对标GPT o1？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

太强了！10​大开源大模型！

Ollama 本地运行大模型(LLM)完全指南

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

中医大模型 ，开源！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

教你使用Ollama在本地跑Llama3.1

大家都在问

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

阿里巴巴发布Qwen2.5，对标GPT o1？

热门标签

太强了！10大开源大模型！

中医大模型，开源！