能做的实在太多了

我是@卜寒兮，分享科技、人工智能、科研方面的经验和观点。

Qwen系列开源模型的受关注程度一直比较高，不光国内，国外也有大量用户。

上周就看到不少人开始预告Qwen2.5。

果然它现在就来了，而且还是超级“全家桶”。

我已经试第一时间测试并使用了，感觉效果非常不错，详细可翻到后面看实测效果。

在这之前还是先帮大家总结一下Qwen2.5的关键信息。

TL; DR：

• • Qwen 2.5系列包括基座语言模型和针对编程的Qwen2.5-Coder，以及针对数学的Qwen2.5-Math。每种都包括多个尺寸，具体地，

• • Qwen2.5: 0.5B, 1.5B, 3B, 7B, 14B, 32B, 72B;

• • Qwen2.5-Coder: 1.5B, 7B, 32B（即将推出）;

• • Qwen2.5-Math: 1.5B, 7B, 72B。

• • 每个模型除了默认的BF16精度版本，还提供量化版本，比如Int4/8，GPTQ、AWQ 和 GGUF。

• • 训练集规模：

• • Qwen2.5：18T tokens；

• • Qwen2.5-Coder：5.5T tokens；

• • Qwen2.5-Math: 支持中英文，集成多种推理方法

• • 主要能力提升：

• • 知识储备（MMLU: 85+）

• • 编程能力 (HumanEval: 85+)

• • 数学能力 (MATH: 80+)

• • 其他改进：

• • 指令遵循

• • 长文本生成 (>8K tokens)

• • 结构化数据理解和生成（如JSON）

• • 对 system prompt 的适配性（增强角色扮演和chatbot的条件设置能力）

• • Qwen2.5上下文窗口128K tokens，生成长度最多 8K tokens

• • 指路：

• • 模型权重下载：https://huggingface.co/Qwen

• • 在线体验：https://modelscope.cn/studios/qwen/Qwen2.5

这应该是阿里云迄今为止规模最大的一次开源，用官方的话说是“基础模型大派对”，算了一下，考虑不同的尺寸，以及每个尺寸不同的量化版本，一次性足足有100多个模型开源。

这是啥概念，是大概率挤爆硬盘的概念。

模型表现

从官方公布的数据来看，相较于Qwen2系列，Qwen2.5性能整体上有了大幅的提升。

72B的指令微调版（Qwen2.5-72B-Instruct）在所有benchmark上都超越了前代版本。

特别是在基础知识能力（MMLU）、数学（MATH）和代码（MBPP）能力等方面，提升非常大。

跟同级别的其他主流开源模型相比，性能也几乎占据全面优势。

夸张的是，72B大小的模型，居然可以跟大出一个数量级的Llama3.1-405B打得有来有回。

这个实际价值就非常大了。

特别是对于开源模型来说，因为本来你可能需要部署几千亿参数的模型才难满足需求的场景；

现在几百亿参数的Qwen2.5-72B就能应对了。

部署成本和推理成本都能省一大截。

实测效果

按照惯例，还是测试一下模型（以Qwen2.5-72B指令微调版为主）的实际效果。

我主要针对性能改进比较明显的几个方面。

比如数学、文本推理、结构化输出、系统指令适应性等进行了测试。

ps，以下测试是直接在Qwen2.5在线体验集上进行（链接见上方）

1、推理能力。

农夫需要把狼、⽺和⽩菜都带过河，但每次只能带⼀样物品，⽽且狼和羊不能单独相处，羊和白菜也不能单独相处，问农夫该如何过河。

Qwen2.5-72B的回答是正确的。

2、系统指令跟随（“说文解字”卡片制作）

这个测试灵感来源于最近一位很火的prompt设计大佬李继刚。

他写了很多用于Claude 3.5 Sonnet的指令，可以方便的生成各种卡片效果的回答。类似这种：

简单说就是通过一段特殊的系统指令让模型生成一段svg代码，从而将特定格式的回答可视化出来。

我选择了其中一个被称为“说文解字”的system prompt：

;; 作者: 李继刚
;; 版本: 0.1
;; 模型: Claude Sonnet
;; 用途: 输入任意一字, 说文解字 

;; 设定如下内容为你的 *System Prompt*
(defun 炼字师 () 
 "中国古文化研究专家" 
 (擅长 . 说文解字) 
 (熟知 . 中国古文) 
 (表达 . 专业客观)) 

(defun 说文解字 (用户输入) 
 "从商朝文字开始,演进到现代" 
 (let* ((含义 '(字源本意 引申意)) 
  (示例 (引用古文 (原句 出处 意义) (遍历所有 含义))) 
  (卡片信息 '(含义 示例))) 
 (SVG-Card 卡片信息))) 
 
(defun SVG-Card (卡片信息) 
 "输出SVG 卡片" 
 (setq design-rule "背景使用宣纸，体现历史厚重感" 
  layout-principles '(清晰分区 视觉层次 历史感)) 

 (设置画布 '(宽度 480 高度 800边距 20)) 
 (背景色 宣纸) 

 (配色风格 '((主要文字 (楷体 黑色)) 
  (装饰图案 随机几何图)) 
  
 (内容布局 '((标题区 (居中 顶部) "说文解字:" 用户输入) 
 卡片信息 
 (可视化黑白图形 用户输入)))) 
 (古籍排版 内容布局)) 

(defun start () 
 "启动时运行" 
 (setq system-role 炼字师) 
 (print "您请就座, 想解哪个字?")) 

;; 运行规则
;; 1. 启动时必须运行 (start) 函数
;; 2. 之后调用主函数 (说文解字 用户输入)
;;
;; 注意：
;; 此输出风格经过精心设计，旨在提供清晰、美观且信息丰富的视觉呈现。
;; 请在生成SVG卡片时严格遵循这些设计原则和布局规则。

将其设定为Qwen2.5-72B-instruct的系统指令；

然后输入(start)触发程序执行，接着输出要解释的汉字，如“梦”，如下 ↓

模型执行指令后，生成了一段svg语言代码 ↓

将代码复制并保存到本地svg文件，可以直接使用浏览器打开，效果如下：

从这个例子可以看出，对于一个复杂的系统指令（使用lisp语言格式书写），

Qwen2.5可以很好的理解，并按照规定方式执行对应步骤，最终完成任务。

有一处不完美是，生成的代码，卡片宽度设置窄了，导致文字没有显示完整。

其实可以让Qwen2.5重新改进，但我为了省事直接修改了一下卡片宽度（可以看到上面两行有点不对称）。

但总体我觉得完成度已经相当高了，毕竟这个指令原本是适配Claude 3 Sonnet的。

同一个例子，我测试上一代Qwen2-72B-instruct；

试了两次，但它似乎不能很好的遵循指令，出来的表现并不行，一直不停地输出英文，只得关闭页面。

3、数学题。

这道题让不少大模型，包括Claude 3.5 Sonnet, GPT-4o都栽了跟头。

在 134+7，134+14，134+21,……，134+210 这 30个算式中，每个算式的计算结果都是三位数，求这些三位数的百位数字之和.

正确答案是58，Qwen2.5-72B-instruct也回答错了。

发现它少算了一个数，然后提醒它，给了它一次修改的机会，第二次回答时，可以回答正确。

对比一些其他模型的表现。

Qwen上一代开源模型Qwen2-72B，回答错的比较离谱，明显不如Qwen2.5。

Claude 3.5 Sonnet，也不对，题目似乎没搞明白。

Llama3-70B-instruct vs DeepSeek-v2-chat。

也答错了。

4、结构化输出。提取股票价格信息，并且以JSON格式输出。

5、长文本生成能力——学术写作。

根据介绍，Qwen2.5全系模型（语言模型）支持最高生成8k tokens长度的文本，长文本生成能力和文本质量都有显著提升。

我测试了用Qwen2.5-72B进行学术论文写作，给定主题写一篇不少于5000字的文章引言部分。

假设你是一名学术研究人员，负责撰写一篇学术论文的引言部分。你的目标是撰写一篇引言，将【大模型量化】置于更广泛的学术讨论背景中，概述该研究的重要性，并陈述研究问题或假设。首先介绍当前关于【大模型量化】的理解和文献中的空白。然后，明确阐述该研究的目标、研究的理论依据以及其对该领域的潜在贡献。确保引言通过强调该研究在解决关键问题或推进【大模型量化】知识方面的相关性，为读者奠定基础。最后，简要总结研究方法，并预览论文的结构。字数不少于5000字。

以下是Qwen2.5的回答：

我没有具体数到底有没有5000字。

但是总体看下来，生成的内容质量还挺高的。

其实更像一篇research proposal，研究背景，文献综述，研究重要性和技术路线等都提到了。

专家模型

数学和代码可以说是探索大模型能力过程中最重要的两个方向，

而且也是受到广泛关注的两个方面，在应用端很有潜力。

阿里云推出Qwen2.5-Math和Qwen2.5-Coder应该也是出于这些考量。

写代码不用说了，已经成为大模型最重要的应用方向之一。

而数学能力，通常被认为是探索大模型能力边界的重要指标，

最近OpenAI发布的推理模型o1，其能力提升很重要就是体现在解决数学问题的能力上。

1、Qwen2.5-Math

在上一代Qwen2-Math基础上升级而来，主要通过三个途径进行了升级：

• • 利用上一代模型合成更多高质量数学预训练数据

• • 多轮召回获取更多高质量数学数据，尤其是中文数据

• • 使用Qwen2.5系列基础模型进行参数初始化

不仅如此，相比于上一代，Qwen2.5-Math还支持思维链（CoT）和工具集成推理（TIR），能够解决中英双语的数学题，数学能力大幅提升。

我也是再次拿来上面那道数学题，测试了一下Qwen2.5-Math-72B-instruct，结果它真答对了。

2、Qwen2.5-Coder

共有3个尺寸，目前开源了1.5B 和 7B，而32B还在路上。

Qwen2.5-coder目前开源的是两个小尺寸模型，这应该是为了满足大家本地部署的需求。

因为很多人担心用云端的，上传到服务器会有泄露的风险，毕竟代码很多时候私密性还挺重要的。

Qwen2.5-coder在包括源代码、文本代码混合数据、合成数据等共计 5.5T tokens 的数据集上训练。

在代码生成、补全、修复等多方面表现都非常不错。

代码能力测试

测试一个Qwen2.5-coder-instruct的代码扩写能力。

Qwen2.5官网上有介绍调用模型API的代码示例。

但是这个代码只是一个很基础的调用。

如果想实现一个相对完善的chatbot，还需要对功能进行扩展，就把这个任务交给 Qwen2.5-Coder-7B-instruct：

复制它生成的代码，只需把API key换成自己的，就实现了一个简易的多轮对话机器人 ↓

已经想把7B的部署在本地了。

结语

整体来说，Qwen2.5系列模型能干的事情还是很多的，性能上也非常优秀。

最关键的，它是开源模型。

希望开源生态越来越好。