微信扫码
与创始人交个朋友
我要投稿
一、引言
千问团队开源「强大」、「多样」、「实用」的 Qwen2.5-Coder 全系列,致力于持续推动 Open Code LLMs 的发展。
● 强大:Qwen2.5-Coder-32B-Instruct 成为目前 SOTA 的开源代码模型,代码能力追平 GPT-4o。在展现出强大且全面的代码能力的同时,具备良好的通用和数学能力;
● 多样:在之前开源的两个尺寸 1.5B/7B 的基础上,本次开源共带来四个尺寸的模型,包括 0.5B/3B/14B/32B。截止目前 Qwen2.5-Coder 已经覆盖了主流的六个模型尺寸,以满足不同开发者的需要;
● 实用:在两种场景下探索 Qwen2.5-Coder 的实用性,包括代码助手和 Artifacts,一些样例展示出 Qwen2.5-Coder 在实际场景中应用的潜力;
二、强大:代码能力达到开源模型SOTA
● 代码生成:Qwen2.5-Coder-32B-Instruct 作为本次开源的旗舰模型,在多个流行的代码生成基准(EvalPlus, LiveCodeBench, BigCodeBench)上都取得了开源模型中的最佳表现,并且达到和 GPT-4o 有竞争力的表现。
● 代码修复:代码修复是一个重要的编程能力,Qwen2.5-Coder-32B-Instruct 可以帮助用户修复代码中的错误,让编程 更加高效。Aider 是流行的代码修复的基准,Qwen2.5-Coder-32B-Instruct 达到 73.7 分,在 Aider 上的表现与 GPT-4o 相当。
● 代码推理:代码推理指的是模型能否学习代码执行的过程,准确的预测模型的输入与输出。上个月发布的 Qwen2.5-Coder-7B-Instruct 已经在代码推理能力上展现出了不俗的表现,本次 32B 模型在代码推理上更进一步。
● 多编程语言:智能的编程助手应该熟悉所有编程语言,Qwen2.5-Coder-32B-Instruct 在 40 多种编程语言上表现出色, 在 McEval 上取得了 65.9 的分数,其中 Haskell, Racket 等语言表现令人印象深刻,这得益于在预训练阶段独特的 数据清洗和配比。
另外,Qwen2.5-Coder-32B-Instruct 的多编程语言的代码修复能力仍然令人惊喜,这将有助于用户理解和修改自己熟悉的 编程语言,极大缓解陌生语言的学习成本。与 McEval 类似,MdEval 是多编程语言的代码修复基准,Qwen2.5-Coder-32B-Instruct 在 MdEval 上取得了 75.2 的分数,在所有开源模型中排名第一。
● 人类偏好对齐:为了检验 Qwen2.5-Coder-32B-Instruct 在人类偏好上的对齐表现,构建了一个来自内部标注的代码偏 好评估基准 Code Arena(类似 Arena Hard)。采用 GPT-4o 作为偏好对齐的评测模型,采用 'A vs. B win' 的评测方 式,即在测试集实例中,模型 A 的分数超过模型 B 的百分比。下图结果表现出 Qwen2.5-Coder-32B-Instruct 在偏 好对齐方面的优势。
三、全面:丰富的模型尺寸
本次 Qwen2.5-Coder 开源了丰富的模型尺寸,共包含 0.5B/1.5B/3B/7B/14B/32B 六个尺寸,不仅能够满足开发者在不同 资源场景下的需求,还能给研究社区提供良好的实验场。下表是详细的模型信息:
一直相信 Scaling Law 哲学。评估了不同尺寸的 Qwen2.5-Coder 在所有数据集上的表现,以验证 Scaling 在 Code LLMs 上的有效性。
对于每一个尺寸,都开源了 Base 和 Instruct 模型,其中 Instruct 模型作是一个可以直接聊天的官方对齐模型,Base 模 型作为开发者微调自己模型的基座。
下面是不同尺寸的 Base 模型表现:
下面是不同尺寸的 Instruct 模型表现:
为了更加直观,展示了不同尺寸 Qwen2.5-Coder 和其他开源模型在核心数据集上的对比。
● 对于 Base 模型,选择 MBPP-3shot 作为评估指标,大量的实验表明,MBPP-3shot 更适合评估基础模型,且能够和模型的真实效果有较好的相关性。
● 对于 Instruct 模型,选择 LiveCodeBench 最新的 4 个月(2024.07 - 2024.11)的题目作为评估,这些最新公布的,不可能泄露到训练集的题目,能够反映模型的 OOD 能力。
模型尺寸和模型效果之间符合预期的存在正相关,并且 Qwen2.5-Coder 在所有尺寸下都取得了 SOTA 的表现,这鼓励着继续探索更大尺寸的 Coder。
模型许可
Qwen2.5-Coder的0.5B、1.5B、7B、14B、32B模型均采用Apache 2.0许可证,3B模型使用“Research Only”许可。
三、模型链接和体验
Qwen2.5-Coder 模型链接:
https://modelscope.cn/collections/Qwen25-Coder-9d375446e8f5814a
模型集合 demo 链接:
https://modelscope.cn/studios/Qwen/Qwen2.5-Coder-demo
小程序体验:
Artifacts 体验链接:
https://modelscope.cn/studios/Qwen/Qwen2.5-Coder-Artifacts
四、模型推理
transformers: 单卡运行 Qwen2.5-32B-Instrtuct 量化模型。
from modelscope import AutoModelForCausalLM, AutoTokenizermodel_name = "Qwen/Qwen2.5-Coder-32B-Instruct-GPTQ-Int4"model = AutoModelForCausalLM.from_pretrained( model_name,torch_dtype="auto",device_map="auto" )tokenizer = AutoTokenizer.from_pretrained(model_name)prompt = "write a quick sort algorithm."messages = [{"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},{"role": "user", "content": prompt} ]text = tokenizer.apply_chat_template( messages,tokenize=False,add_generation_prompt=True )model_inputs = tokenizer([text], return_tensors="pt").to(model.device)generated_ids = model.generate( **model_inputs,max_new_tokens=512 )generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) ]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
显存占用:
Ollama:一行命令使用 Ollama 运行魔搭 Qwen2.5-Coder GGUF 模型
#设置下启用ollama serve#ollama run ModelScope 任意 GGUF 模型ollama run modelscope.cn/Qwen/Qwen2.5-32B-Instruct-GGUF
在安装了 Ollama 的环境上(建议使用>=0.3.12 版本),直接通过上面的命令行,就可以直接在本地运行 模型。
vLLM,推理加速
pip install vllm -Uexport VLLM_USE_MODELSCOPE=True vllm serve Qwen/Qwen2.5-Coder-7B-Instruct# 推理代码:from openai import OpenAI# Modify OpenAI's API key and API base to use vLLM's API server. openai_api_key = "EMPTY"openai_api_base = "http://localhost:8000/v1"client = OpenAI(api_key=openai_api_key,base_url=openai_api_base, )completion = client.completions.create(model="Qwen/Qwen2.5-Coder-1.5B-Instruct",print("Completion result:", completion)prompt="San Francisco is a")
五、模型微调
我们介绍使用 ms-swift 对 qwen2.5-coder 进行自我认知微调,并对微调后模型进行推理。
swift 开源地址:
https://github.com/modelscope/ms-swift
自我认知数据集链接:
https://modelscope.cn/datasets/swift/self-cognition
如果需要使用其他数据集进行微调,只需要修改即可。
自定义 dataset 支持传入本地路径、modelscope 和 huggingface 中 的 dataset_id 。
文 档 可 以 查 看 :
https://swift.readthedocs.io/zh-cn/latest/Instruction/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%9 3%E5%B1%95.html#id3
在开始微调之前,请确保您的环境已正确安装:
# 安装 ms-swiftgit clone https://github.com/modelscope/ms-swift.gitcd swiftpip install -e .[llm]
# 微调脚本:# Experimental environment: A10, 3090, V100, ... # 15GB GPU memory CUDA_VISIBLE_DEVICES=0 swift sft \--model_type qwen2_5-coder-3b-instruct \ --model_id_or_path qwen/Qwen2.5-Coder-3B-Instruct \ --dataset swift/self-cognition#500 \AI-ModelScope/Magpie-Qwen2-Pro-200K-Chinese#500 \AI-ModelScope/Magpie-Qwen2-Pro-200K-English#500 \ --logging_steps 5 \--max_length 4096 \--learning_rate 1e-4 \--output_dir output \ --lora_target_modules ALL \ --model_name 小黄 'Xiao Huang' \ --model_author 魔搭 ModelScope \ --system 'You are a helpful assistant.'
微调显存消耗:
# Experimental environment: A10, 3090, V100, ... # 直接推理CUDA_VISIBLE_DEVICES=0 swift infer \--ckpt_dir output/qwen2_5-coder-3b-instruct/vx-xxx/checkpoint-xxx# 使用 vLLM 进行推理加速 CUDA_VISIBLE_DEVICES=0 swift infer \--ckpt_dir output/qwen2_5-coder-3b-instruct/vx-xxx/checkpoint-xxx \ --infer_backend vllm --max_model_len 8192 --merge_lora true
推理结果:
六、模型应用:Cursor,Artifacts和interpreter
实用的 Coder 一直是的愿景,为此本次探索了 Qwen2.5-Coder 在代码助手、 Artifacts 、interpreter 场景下的实际表现。
Qwen2.5-Coder 遇到 Cursor:万能代码小助手
只能代码助手目前已经得到广泛的应用,但目前大多依赖闭源模型,希望 Qwen2.5-Coder 的出现能够为开发者提供一个 友好且强大的选择。
配置 Qwen2.5-Coder-32B-Instruct 的 openai 兼容 api(URL 和 API Key)
体验 Qwen2.5-Coder 强大的生成/编辑/补全能力吧!(Command+K)
Qwen2.5-Coder 遇到Artifacts:prompt编程不是梦
git clone https://www.modelscope.cn/studios/Qwen/Qwen2.5-Coder-Artifacts.git cd Qwen2.5-Coder-Artifactspip install -r requirements.txtpip install gradiopython app.py
Qwen2.5-Coder 遇到Interpreter:AI操作电脑
在MAC安装环境:
pip install open-interpreter
进入Python环境:
from interpreter import interpreterinterpreter.llm.api_base = "YOUR_BASE_URL" interpreter.llm.api_key = "YOUR_API_KEY" interpreter.llm.model = "openai/Qwen-Coder-32B-Instruct" interpreter.chat("Can you set my system to light mode?")
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-14
Alibaba开源UReader:通用免OCR文档理解
2024-11-13
这家小公司的700 亿参数模型竟然比Open o1还强?
2024-11-13
通义牛逼!!比肩Chatgpt-4o 还自带 Artifact
2024-11-13
Ollama 更新!本地跑 LLama3.2,轻量级+视觉能力,能媲美GPT-4o?
2024-11-13
开源版SearchGPT来了,两张3090就可复现,超越Perplexity付费版
2024-11-12
字节跳动AI社区新动作:炉米Lumi,一站式模型共创平台揭秘
2024-11-12
我们是这样做大模型应用的(文末有惊喜)
2024-11-12
Qwen新作,代码界的王!
2024-05-06
2024-08-13
2024-07-25
2024-06-12
2024-06-16
2024-07-11
2024-07-20
2024-06-15
2024-07-25
2024-07-25
2024-11-13
2024-11-13
2024-10-07
2024-09-22
2024-09-20
2024-09-14
2024-09-14
2024-09-12