地址：https://github.com/QwenLM/Qwen2

简介

历经数月努力, 我们很高兴迎来了Qwen系列模型从Qwen1.5到Qwen2的重大升级。这一次，我们为大家带来了：

• 5个尺寸的预训练和指令微调模型, 包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B；
• 在中文英语的基础上，训练数据中增加了27种语言相关的高质量数据；
• 多个评测基准上的领先表现；
• 代码和数学能力显著提升；
• 增大了上下文长度支持，最高达到128K tokens（Qwen2-72B-Instruct）。

目前，我们已在Hugging Face和ModelScope上同步开源。期待听到你们的使用反馈！

模型基础信息

Qwen2系列包含5个尺寸的预训练和指令微调模型，其中包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B。如下表所示:

上下文长度方面，所有的预训练模型均在32K tokens的数据上进行训练，并且我们发现其在128K tokens时依然能在PPL评测中取得不错的表现。然而，对指令微调模型而言，除PPL评测之外还需要进行大海捞针等长序列理解实验。在该表中，我们根据大海捞针实测结果，列出了各个指令微调模型所支持的最大上下文长度。而在使用YARN这类方法时，Qwen2-7B-Instruct和Qwen2-72B-Instruct均实现了长达128K tokens上下文长度的支持。

我们投入了大量精力研究如何扩展多语言预训练和指令微调数据的规模并提升其质量

从而提升模型的多语言能力。尽管大语言模型本身具有一定的泛化性，我们还是针对性地对除中英文以外的27种语言进行了增强：

此外，我们针对性地优化了多语言场景中常见的语言转换（code switch）问题，模型当前发生语言转换的概率大幅度降低。我们使用容易触发语言转换现象的提示词进行测试，观察到Qwen2系列模型在此方面能力的显著提升。

模型评测

相比Qwen1.5，Qwen2在大规模模型实现了非常大幅度的效果提升。我们对Qwen2-72B进行了全方位的评测。在针对预训练语言模型的评估中，对比当前最优的开源模型，Qwen2-72B在包括自然语言理解、知识、代码、数学及多语言等多项能力上均显著超越当前领先的模型，如Llama-3-70B以及Qwen1.5最大的模型Qwen1.5-110B。这得益于其预训练数据及训练方法的优化。

大规模预训练后，我们对模型进行精细的微调，以提升其智能水平，让其表现更接近人类。这个过程进一步提升了代码、数学、推理、指令遵循、多语言理解等能力。此外，模型学会对齐人类价值观，它也随之变得更加对人类有帮助、诚实以及安全。我们的微调过程遵循的原则是使训练尽可能规模化的同时并且尽可能减少人工标注。我们探索了如何采用多种自动方法以获取高质量、可靠、有创造力的指令和偏好数据，其中包括针对数学的拒绝采样、针对代码和指令遵循的代码执行反馈、针对创意写作的回译、针对角色扮演的scalable oversight、等等。在训练方面，我们结合了有监督微调、反馈模型训练以及在线DPO等方法。我们还采用了在线模型合并的方法减少对齐税。这些做法都大幅提升了模型的基础能力以及模型的智能水平。

我们全面评估了Qwen2-72B-Instruct在16个基准测试中的表现。Qwen2-72B-Instruct在提升基础能力以及对齐人类价值观这两方面取得了较好的平衡。相比Qwen1.5的72B模型，Qwen2-72B-Instruct在所有评测中均大幅超越，并且了取得了匹敌Llama-3-70B-Instruct的表现。

而在小模型方面，Qwen2系列模型基本能够超越同等规模的最优开源模型甚至更大规模的模型。相比近期推出的最好的模型，Qwen2-7B-Instruct依然能在多个评测上取得显著的优势，尤其是代码及中文理解上。

亮点

代码 & 数学

我们持续投入提升Qwen的代码及数学能力。在代码方面，我们成功将CodeQwen1.5的成功经验融入Qwen2的研发中，实现了在多种编程语言上的显著效果提升。而在数学方面，大规模且高质量的数据帮助Qwen2-72B-Instruct实现了数学解题能力的飞升。

长文本处理

Qwen2系列中的所有Instruct模型，均在32k上下文长度上进行训练，并通过YARN或Dual Chunk Attention等技术扩展至更长的上下文长度。

下图展示了我们在Needle in a Haystack测试集上的结果。值得注意的是，Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息抽取任务。结合其本身强大的性能，只要有充足的算力，它一定能成为你处理长文本任务的首选！

此外，Qwen2系列中的其他模型的表现也十分突出：Qwen2-7B-Instruct几乎完美地处理长达128k的上下文；Qwen2-57B-A14B-Instruct则能处理64k的上下文长度；而该系列中的两个较小模型则支持32k的上下文长度。

除了长上下文模型，我们还开源了一个智能体解决方案，用于高效处理100万tokens级别的上下文。更多详细信息，请参见我们关于该主题的博客文章。

安全

下表展示了大型模型在四种多语言不安全查询类别（非法活动、欺诈、色情、隐私暴力）中生成有害响应的比例。测试数据来源于Jailbreak，并被翻译成多种语言进行评估。我们发现Llama-3在处理多语言提示方面表现不佳，因此没有将其纳入比较。通过显著性检验（P值），我们发现Qwen2-72B-Instruct模型在安全性方面与GPT-4的表现相当，并且显著优于Mistral-8x22B模型。

使用Qwen2

现在，模型均已开源在Hugging Face和ModelScope上。欢迎查阅模型卡了解具体用法和更多关于模型的信息，如特性、指标等。

长时间以来，来自开源生态的朋友们一致支持着Qwen的发展，包括微调（Axolotl、Llama-Factory、Firefly、Swift、XTuner）、量化（AutoGPTQ、AutoAWQ、Neural Compressor）、部署（vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI）、本地运行（MLX、Llama.cpp、Ollama、LM Studio）、Agent及RAG（检索增强生成）框架（LlamaIndex, CrewAI, OpenDevin）、评测（LMSys, OpenCompass, Open LLM Leaderboard）、模型二次开发（Dolphin, Openbuddy）。想了解更多关于如何在三方框架中使用Qwen，欢迎阅读各项目的官方文档以及我们的官方文档了解更多用法！

模型许可

此次我们采用不同的模型许可。除了Qwen2-72B依旧使用此前的Qianwen License外，其余模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B以及Qwen2-57B-A14B在内，均采用Apache 2.0的许可。我们希望本次开放程度的提升能够加速Qwen2在全球各地的落地及商业应用。

Qwen2的下一步是什么？

我们还在训练更大的模型，继续探索模型及数据的Scaling Law。此外，我们还将把Qwen2扩展成多模态模型，融入视觉及语音的理解。在不久的将来，我们还会继续开源新模型。敬请期待！

引用

不久后我们将推出Qwen2的技术报告。欢迎引用！

@article{qwen2,
  title={Qwen2 Technical Report},
  year={2024}
}

相关文章

大模型训练十戒

PPO vs DPO 对齐擂台的武林纷争

大模型的微调数据选择技巧（三）

大模型的微调数据选择技巧（二）

大模型微调数据选择和构造技巧

如何从零训练多模态大模型（预训练方向）

大模型预训练中的数据处理及思考

如何从零开始训练大模型（预训练方向）

从头预训练一只超迷你 LLaMA 3

大模型落地实用主义思考

一文逮尽知名开源大模型作弊！训题库...

大模型测试集作弊？ICLR论文将leak一网打尽！

大模型reward model的trick

大模型比赛kaggle Prompt Recovery方案解读

大模型微调经验和认知

大模型训练loss突刺原因和解决办法

大模型用8个7B超越70B的方法

大模型/AIGC/Agent必读百篇文章获取

大模型在任务型对话上有机会吗

国内AI大模型已近80个，哪个最有前途？

大模型如何修复badcase

大模型中的Scaling Law计算方法

垂直领域大模型落地思考

大模型的生产优化

大模型Kaggle比赛首秀冠军方案总结

大模型RLHF理论详细讲解

24家国内大模型面经

大模型面试八股含答案

大模型无标注对齐RLAIF讲解

大模型训练为什么用A100不用4090

大模型百川2技术报告细节分享

大模型来自面试的一些体会和分享

判断场景是否适合大模型

大模型微调技术报告汇总

大模型的幻觉问题

从零训练大模型教程

领域/场景大模型也太难训了吧

大模型开源社区的原子弹Llama2

大模型训练的一些坑点和判断

大模型RLHF的trick

大模型评测，也太难了吧

大模型面试八股

大模型微调样本构造的trick

大模型训练太难了！