我要投稿

Qwen，永远不会缺席！百万上下文模型开源

发布日期：2025-01-27 14:51:19 浏览次数： 1807 来源：NLP前沿

今天，Qwen2.5-1M模型开源。

2个尺寸，7B & 14B。开源并且，并结合vllm，集成了稀疏注意力机制，推理速度提升3到7倍。

技术报告地址：https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-1M/Qwen2_5_1M_Technical_Report.pdf
hf: https://huggingface.co/collections/Qwen/qwen25-1m-679325716327ec07860530ba

14B模型的大海捞针获得了全绿的成绩，7B仅少量错误

长度提升的同时，短序列的成绩依然保持优异！

训练策略：逐步变长到256K。然后使用长度外推，外推用到了DCA的策略，

DCA通过将大的相对位置，按chunk分组，映射为较小的值

最后是硬件依赖：

对于处理 1M 长度的序列：

Qwen2.5-7B-Instruct-1M：至少需要 120GB 显存（多 GPU 总和）。
Qwen2.5-14B-Instruct-1M：至少需要 320GB 显存（多 GPU 总和）。

如果 GPU 显存不满足以上要求，仍然可以使用 Qwen2.5-1M 进行较短任务的处理。

最后，祝大家新年快乐！

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-03-19

有意思了，DeepSeek 自动操作浏览器！已开源！

2025-03-19

发布第三天，我的开源项目突破 1K Star！

2025-03-19

CAMEL-AI Blog｜OWL调用MCP Toolkit实践

2025-03-19

英伟达全力发展AI Agent！开源专属大模型，最强AI工厂

2025-03-19

硅基流动 SiliconCloud 上线加速版阿里 Qwen2.5-VL

2025-03-19

为什么 Claude MCP 最近会流行起来？

2025-03-19

MCP原理解析与效果实测|附实用MCP推荐

2025-03-19

LiteLLM：统一100+大模型API调用的终极神器，开发者效率翻倍！

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21

太强了！10大开源大模型！

2024-05-06

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

DeepSeek-V3 正式发布

2024-12-26

大家都在问

为什么 Claude MCP 最近会流行起来？

2025-03-19

小参数出奇迹！360开源最强14B推理模型，端侧部署春天来了？

2025-03-17

火爆 AI 编程圈的 MCP 到底是个什么东西？

2025-03-17

谷歌突然开源Gemma 3！128K长上下文+多模态，碾压Llama 405B？

2025-03-13

单卡跑出27B性能！谷歌Gemma 3开源模型如何重新定义AI开发边界？

2025-03-13

5 个人、3 小时，开源复刻 Manus？

2025-03-08

单机部署满血版DeepSeek，谁才是最具性价比的一体机方案？

2025-03-03

一文读懂 DeepSeek 开源周，CEO 梁文锋亲自写代码？

2025-03-02

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB