粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
近期开源社区陆续出现了千亿参数规模以上的大模型，这些模型都在各项评测中取得杰出的成绩。今天，阿里开源了1100亿参数的Qwen1.5系列首个千亿参数模型Qwen1.5-110B，该模型在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。
Qwen1.5-110B与其他Qwen1.5模型相似，采用了相同的Transformer解码器架构。它包含了分组查询注意力（GQA），在模型推理时更加高效。该模型支持32K tokens的上下文长度，同时它仍然是多语言的，支持英、中、法、西、德、俄、日、韩、越、阿等多种语言。
官方对基础语言模型进行了一系列评估，并与最近的SOTA语言模型Meta-Llama3-70B以及Mixtral-8x22B进行了比较。
上述结果显示，新的110B模型在基础能力方面至少与Llama-3-70B模型相媲美。在这个模型中，阿里没有对预训练的方法进行大幅改变，因此可以认为与72B相比的性能提升主要来自于增加模型规模。
官方还在MT-Bench和AlpacaEval 2.0上进行了Chat评估，结果如下：
与之前发布的72B模型相比，在两个Chat模型的基准评估中，110B表现显著更好。评估结果的持续改善表明，即使在没有大幅改变后训练方法的情况下，更强大、更大规模的基础语言模型也可以带来更好的Chat模型。
模型已上传至HuggingFace平台：
https://huggingface.co/Qwen/Qwen1.5-110B-Chat
https://huggingface.co/Qwen/Qwen1.5-110B
110B模型同样支持llama.cpp、vLLM、Ollama等框架。目前Ollama仓库也已经上传了模型，资源充足的各位可以尝试一下：
ollama run qwen:110b
阿里官方也透露了Qwen2即将到来！
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-08-13
2024-03-30
2024-04-26
2024-05-10
2024-05-28
2024-04-12
2024-04-25
2024-07-25
2024-05-06
2024-07-18
2025-01-18
2025-01-18
2025-01-18
2025-01-16
2025-01-15
2025-01-15
2025-01-14
2025-01-14
回到顶部