编者：清华智谱GLM4-9B很惊艳。对比之前介绍的Cohere Aya 23B，以及Llama3 -8B很有特点。其中有一点与加拿大Cohere Aya类似就是支持的语言到达26种，除了中文英文，更包括东亚日文，韩文及俄语、法语、德语、西班牙语、阿拉伯语等。这为中国企业全球化和一带一路的出海数字化支持提供了最坚实的新质生产力新引擎。上下文长度达到1M，训练数据量达到10T.而且具有多模态支持能力，所以眼前很一亮，可以用夏日的大模型市场惊鸿一瞥来描述，值得深入试用和推荐。

目录

1关于GLM4-9B

2 9B模型介绍

3模型列表

4评测结果

4.1基座模型典型任务

4.2长文本

5多语言能力

6工具调用能力

7多模态能力

8快速调用

8.1硬件配置和系统要求

8.2基础功能调用

8.3使用以下方法快速调用 GLM-4-9B-Chat 语言模型

8.4使用以下方法快速调用 GLM-4V-9B 多模态模型

8.5完整项目列表

8.6友情链接

8.7协议

8.8引用

9附录 高效微调架构框架

1  关于GLM4-9B

GLM-4系列:开源多语言多模态对话模型

开源许可：Apache-2.0 license

Stars 1.8k stars(Hugging Face

2  GLM4-9B模型介绍

GLM-4-9B是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

3 模型列表

4 评测结果

对话模型典型任务

4.1 基座模型典型任务

由于 GLM-4-9B 在预训练过程中加入了部分数学、推理、代码相关的 instruction 数据，

所以将 Llama-3-8B-Instruct 也列入比较范围。

4.2长文本

在 1M 的上下文长度下进行大海捞针实验，结果如下：

在 LongBench-Chat 上对长文本能力进行了进一步评测，结果如下:

5  多语言能力

在六个多语言数据集上对 GLM-4-9B-Chat 和 Llama-3-8B-Instruct 进行了测试，测试结果及数据集对应选取语言如下表

6  工具调用能力

我们在 Berkeley Function Calling Leaderboard 上进行了测试并得到了以下结果：

7  多模态能力

GLM-4V-9B是一个多模态语言模型，具备视觉理解能力，其相关经典任务的评测结果如下：

8  快速调用

8.1  硬件配置和系统要求

本 demo 中，你将体验到如何使用 GLM-4-9B 开源模型进行基本的任务。

请严格按照文档的步骤进行操作，以避免不必要的错误。

设备和依赖检查

相关推理测试数据

本文档的数据均在以下硬件环境测试,实际运行环境需求和运行占用的显存略有不同，请以实际运行环境为准。

测试硬件信息:

• OS: Ubuntu 22.04

• Memory: 512GB

• Python: 3.12.3

• CUDA Version: 12.3

• GPU Driver: 535.104.05

• GPU: NVIDIA A100-SXM4-80GB * 8

相关推理的压力测试数据如下：

所有测试均在单张GPU上进行测试,所有显存消耗都按照峰值左右进行测算

GLM-4-9B-Chat

GLM-4-9B-Chat-1M

如果您的输入超过200K，我们建议您使用vLLM后端进行多卡推理，以获得更好的性能。

GLM-4V-9B

最低硬件要求

如果您希望运行官方提供的最基础代码 (transformers 后端) 您需要：

• Python >= 3.10

• 内存不少于 32 GB

如果您希望运行官方提供的本文件夹的所有代码，您还需要：

• Linux 操作系统 (Debian 系列最佳)

• 大于 8GB 显存的，支持 CUDA 或者 ROCM 并且支持 BF16 推理的 GPU 设备。(FP16 精度无法训练，推理有小概率出现问题)

安装依赖

pip install -r requirements.txt

8.2 基础功能调用

除非特殊说明，本文件夹所有 demo 并不支持 Function Call 和 All Tools 等进阶用法

使用 transformers 后端代码

• 使用命令行与 GLM-4-9B 模型进行对话。

python trans_cli_demo.py # GLM-4-9B-Chat

python trans_cli_vision_demo.py # GLM-4V- 

使用 Gradio 网页端与 GLM-4-9B-Chat 模型进行对话。

python trans_web_demo.py

使用 Batch 推理。

python cli_batch_request_demo.py使用vLLM 后端代码

• 使用命令行与 GLM-4-9B-Chat 模型进行对话。

python vllm_cli_demo.py

自行构建服务端，并使用 OpenAI API 的请求格式与 GLM-4-9B-Chat 模型进行对话。本 demo 支持Function Call 和 All Tools功能。

启动服务端：

python openai_api_server.py

客户端请求：

python openai_api_request.py

压力测试

用户可以在自己的设备上使用本代码测试模型在 transformers后端的生成速度:

python trans_stress_test.py

8.3 快速调用 GLM-4-9B-Chat 语言模型

使用 transformers 后端进行推理:

import torch

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"

tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat", trust_remote_code=True)

query = "你好"

inputs = tokenizer.apply_chat_template([{"role": "user", "content": query}],

                                       add_generation_prompt=True,

                                       tokenize=True,

                                       return_tensors="pt",

                                       return_dict=True

                                       )

inputs = inputs.to(device)

model = AutoModelForCausalLM.from_pretrained(

    "THUDM/glm-4-9b-chat",

    torch_dtype=torch.bfloat16,

    low_cpu_mem_usage=True,

    trust_remote_code=True

).to(device).eval()

gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1}

with torch.no_grad():

    outputs = model.generate(**inputs, **gen_kwargs)

    outputs = outputs[:, inputs['input_ids'].shape[1]:]

    print(tokenizer.decode(outputs[0], skip_special_tokens=True))使用 vLLM 后端进行推理:

from transformers import AutoTokenizer

from vllm import LLM, SamplingParams

# GLM-4-9B-Chat-1M

# max_model_len, tp_size = 1048576, 4

# 如果遇见 OOM 现象，建议减少max_model_len，或者增加tp_size

max_model_len, tp_size = 131072, 1

model_name = "THUDM/glm-4-9b-chat"

prompt = [{"role": "user", "content": "你好"}]

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

llm = LLM(

    model=model_name,

    tensor_parallel_size=tp_size,

    max_model_len=max_model_len,

    trust_remote_code=True,

    enforce_eager=True,

    # GLM-4-9B-Chat-1M 如果遇见 OOM 现象，建议开启下述参数

    # enable_chunked_prefill=True,

    # max_num_batched_tokens=8192

)

stop_token_ids = [151329, 151336, 151338]

sampling_params = SamplingParams(temperature=0.95, max_tokens=1024, stop_token_ids=stop_token_ids)

inputs = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True)

outputs = llm.generate(prompts=inputs, sampling_params=sampling_params)

print(outputs[0].outputs[0].text)

8.4  快速调用 GLM-4V-9B 多模态模型

使用 transformers 后端进行推理:

import torch

from PIL import Image

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"

tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4v-9b", trust_remote_code=True)

query = '描述这张图片'

image = Image.open("your image").convert('RGB')

inputs = tokenizer.apply_chat_template([{"role": "user", "image": image, "content": query}],

                                       add_generation_prompt=True, tokenize=True, return_tensors="pt",

                                       return_dict=True)  # chat mode

inputs = inputs.to(device)

model = AutoModelForCausalLM.from_pretrained(

    "THUDM/glm-4v-9b",

    torch_dtype=torch.bfloat16,

    low_cpu_mem_usage=True,

    trust_remote_code=True

).to(device).eval()

gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1}

with torch.no_grad():

    outputs = model.generate(**inputs, **gen_kwargs)

    outputs = outputs[:, inputs['input_ids'].shape[1]:]

    print(tokenizer.decode(outputs[0])注意: GLM-4V-9B 暂不支持使用 vLLM 方式调用。

8.5  完整项目列表

如果你想更进一步了解 GLM-4-9B 系列开源模型，本开源仓库通过以下内容为开发者提供基础的 GLM-4-9B的使用和开发代码

·base: 在这里包含了

• 使用 transformers 和 vLLM 后端的交互代码

• OpenAI API 后端交互代码

• Batch 推理代码

·composite_demo: 在这里包含了

• GLM-4-9B-Chat 以及 GLM-4V-9B 开源模型的完整功能演示代码，包含了 All Tools 能力、长文档解读和多模态能力的展示。

·fintune_demo: 在这里包含了

• PEFT (LORA, P-Tuning) 微调代码

• SFT 微调代码

8.6   友情链接

• LLaMA-Factory

• : 高效开源微调框架，已支持 GLM-4-9B-Chat 语言模型微调。

8.7  开源协议

·GLM-4 模型的权重的使用则需要遵循 模型协议。

·本开源仓库的代码则遵循 Apache 2.0 协议。

请您严格遵循开源协议。

8.8  引用

如果你觉得我们的工作有帮助的话，请考虑引用下列论文。

@inproceedings{zeng2022glm,

  title={{GLM-130B:} An Open Bilingual Pre-trained Model},

  author={Zeng, Aohan and Liu, Xiao and Du, Zhengxiao and Wang, Zihan and Lai, Hanyu and Ding, Ming and Yang, Zhuoyi and Xu, Yifan and Zheng, Wendi and Xia, Xiao and others},

  booktitle={The Eleventh International Conference on Learning Representations,

                  {ICLR} 2023, Kigali, Rwanda, May 1-5, 2023},

  year= {2023},

}@inproceedings{du2022glm,

  title={GLM: General Language Model Pretraining with Autoregressive Blank Infilling},

  author={Du, Zhengxiao and Qian, Yujie and Liu, Xiao and Ding, Ming and Qiu, Jiezhong and Yang, Zhilin and Tang, Jie},

  booktitle={Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)},

  pages={320--335},

  year={2022}

}title={CogVLM: Visual Expert for Pretrained Language Models},

      author={Weihan Wang and Qingsong Lv and Wenmeng Yu and Wenyi Hong and Ji Qi and Yan Wang and Junhui Ji and Zhuoyi Yang and Lei Zhao and Xixuan Song and Jiazheng Xu and Bin Xu and Juanzi Li and Yuxiao Dong and Ming Ding and Jie Tang},

      year={2023},

      eprint={2311.03079},

      archivePrefix={arXiv},

      primaryClass={cs.CV}

}

9  附录 高效微调架构框架

9.1  微调大型语言模型可能很容易，因为......

选择路径：

1.合作：https://colab.research.google.com/drive/1eRTPn37ltBbYsISy9Aw2NuI2Aq5CQrD9?usp=sharing

2.PAI-DSW：https://gallery.pai-ml.com/#/preview/deepLearning/nlp/llama_factory

3.本地机：请参考使用情况

pip install --upgrade huggingface_hub

huggingface-cli login

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train examples/lora_single_gpu/llama3_lora_sft.yaml

CUDA_VISIBLE_DEVICES=0 llamafactory-cli chat examples/inference/llama3_lora_sft.yaml

CUDA_VISIBLE_DEVICES=0 llamafactory-cli export examples/merge_lora/llama3_lora_sft.yamlSee examples/README.md for advanced usage (including distributed training).Use llamafactory-cli
help to show help information.

CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 llamafactory-cli webui

Use Docker

docker build -f ./Dockerfile -t llama-factory:latest .

docker run --gpus=all \

    -v ./hf_cache:/root/.cache/huggingface/ \

    -v ./data:/app/data \

    -v ./output:/app/output \

    -e CUDA_VISIBLE_DEVICES=0 \

    -p 7860:7860 \

    --shm-size 16G \

    --name llama_factory \

    -d llama-factory:latest

docker compose -f ./docker-compose.yml up -d

export USE_MODELSCOPE_HUB=1 # `set USE_MODELSCOPE_HUB=1` for WindowsTrain the model by specifying a model ID of the ModelScope Hub as themodel_name_or_path. You can find a full list of model IDs at ModelScope Hub, e.g., LLM-Research/Meta-Llama-3-8B-Instruct.

@article{zheng2024llamafactory,

  title={LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models},

  author={Yaowei Zheng and Richong Zhang and Junhao Zhang and Yanhan Ye and Zheyan Luo and Yongqiang Ma},

  journal={arXiv preprint arXiv:2403.13372},

  year={2024},

  url={http://arxiv.org/abs/2403.13372}

}