微信扫码
与创始人交个朋友
我要投稿
自 2023 年 3 月 14 日开源 ChatGLM-6B 以来,GLM 系列模型受到广泛关注和认可。特别是 ChatGLM3-6B开源以后,开发者对智谱AI 第四代模型的开源充满期待。
为了使小模型(10B 以下)具备更加强大的能力,GLM 技术团队进行了大量探索工作。经过近半年的探索,我们推出了第四代 GLM 系列开源模型:GLM-4-9B。
在预训练方面,我们引入了大语言模型进入数据筛选流程,最终获得了 10T 高质量多语言数据,数据量是 ChatGLM3-6B 模型的 3 倍以上。同时,我们采用了 FP8 技术进行高效的预训练,相较于第三代模型,训练效率提高了 3.5 倍。在有限显存的情况下,我们探索了性能的极限,并发现 6B 模型性能有限。因此,在考虑到大多数用户的显存大小后,我们将模型规模提升至 9B,并将预训练计算量增加了 5 倍。
综合以上技术升级和其他经验,GLM-4-9B 模型具备了更强大的推理性能、更长的上下文处理能力、多语言、多模态和 All Tools 等突出能力。GLM-4-9B 系列模型包括:基础版本 GLM-4-9B(8K)、对话版本 GLM-4-9B-Chat(128K)、超长上下文版本 GLM-4-9B-Chat-1M(1M)和多模态版本 GLM-4V-9B-Chat(8K)。
以下是 GLM-4-9B 的能力掠影:
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-10-18
数字孪生如何推动企业架构的迭代与变革?
2024-10-18
一周找了五个情感陪伴AI产品聊天,我感到更空虚寂寞了?
2024-10-18
数据治理如何转化为业务价值?平安产险的探索与实践解析
2024-10-18
工业转型指南发布,涉及设备更新和技术改造
2024-10-18
浅谈企业管理与大模型的关联:向上沟通是“压缩”,向下沟通是“扩散”
2024-10-18
数据集成困难、利用低效:AI 热潮下,存储该怎么跟上?
2024-10-18
5.3K+ Star!llmware:一个构建企业级RAG管道的统一框架
2024-10-18
探索 Prompt:从基础概念到高级工程技术
2024-03-30
2024-07-18
2024-04-26
2024-05-06
2024-04-11
2024-06-12
2024-07-09
2024-08-21
2024-07-25
2024-05-09
2024-10-18
2024-10-18
2024-10-18
2024-10-18
2024-10-18
2024-10-18
2024-10-18
2024-10-18