我要投稿

H20对决4090：大规模模型部署中的性能巅峰之战

发布日期：2024-09-07 08:09:40 浏览次数： 2072 来源：Neolink AI

前言

在当前的大模型部署与应用中，计算资源的选择与优化至关重要。本报告通过在H20算力设备上的部署与测试，详细探讨了H20与4090在大型语言模型推理中的性能表现。通过对吞吐量、响应时间、token生成时间等关键指标的评估，旨在为高效部署提供有力的数据支撑和优化建议。

Part 1

环境配置

1.1

软件环境

Ubuntu22.04，配备miniconda和pytorch，cuda版本12.4，vLLM框架

1.2

vLLM简介

vLLM是一个开源且易于使用的大模型（LLM）推理加速框架，我们用vLLM部署训练好的大模型。vLLM通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。

vLLM具有以下特点：

先进的服务吞吐量；
PagedAttention对注意力Keys和Values存储的有效管理；
连续批处理传入请求，即continous batching，而不是static batching；
使用CUDA/HIP图快速执行模型；
支持张量并行推理和流式输出；
兼容 OpenAI 的接口服务；
与 HuggingFace 模型无缝集成。

Part 2

目的与方法

2.1

目的

测试大模型在H20上的表现，包括吞吐量，单个token花费的时间，以及token之间的延迟和响应速度等。

2.2

预期结果

与4090相比，H20的吞吐量更高，延迟更低，响应更快。

2.3

测试方法

用vllm的benchmark，测试8B，15B和34B的模型在4090和H20上的性能。

# 测试流程 #

申请H20 8卡算力 24小时的实例；
下载llama3.1-8B-instruct、llama3-15B-stocktest、Yi-34B-Chat；
用vllm host不同的模型后，运行vllm benchmark脚本进行评测，记录结果；
在4090上重复步骤2、3，记录结果。

Part 3

过程

3.1

安装vllm

pip install vllm

3.2

更新cuda驱动版本

安装vllm后，nvidia-cublas-cu12版本为12.1.3.1。这一版本在4090上没有问题，但是在H20上会报错，升级后解决。

pip install nvidia-cublas-cu12==12.4.5.8

3.3

下载模型

从huggingface上下载模型，没有代理可以从mirror上下载，或者下载到本地再scp传上去：

https://hf-mirror.com/meta-llama/Meta-Llama-3.1-8B-Instruct
https://huggingface.co/athirdpath/Llama-3-15b-StockTest
https://huggingface.co/01-ai/Yi-1.5-34B-Chat
https://huggingface.co/01-ai/Yi-34B-Chat-8bits

3.4

运行vllm server

修改tp、pp、--enable-prefix-caching 等参数：

vllm serve /root/data/Meta-Llama-3.1-8B-Instruct --dtype auto \--host 0.0.0.0 --port 8007 --tensor-parallel-size 1 --pipeline-parallel-size 1 --disable-log-requests \

3.5

Testing

用sharegpt的数据集测试

python benchmarks/benchmark_serving.py \        --host 0.0.0.0 \        --port 8000 \        --backend vllm \        --model Meta-Llama-3.1-8B-Instruct \        --dataset-name sharegpt \        --dataset-path /home/cuiyuxin/scripts/vllm/ShareGPT_Vicuna_unfiltered/ShareGPT_V3_unfiltered_cleaned_split.json

3.6

记录结果

记录不同设置下的实验结果。

Part 4

结果

4090与H20对比

# 内存大小 #

4090 ：24G。
H20 ：96G。

对于34B的模型，4张4090才可以跑起来，1张H20就足够。

# yi34b模型，4卡，tp=4 #

吞吐量（throughputs） ：H20的吞吐量约为4090的一倍。

响应时间（time to first token） ：H20处理并发的能力更强。

输出每个token的时间（time per output token） ：H20输出单个token的时间比4090少7倍左右。

Token间的延迟（inter-token latency）：H20输出多个token时，token之间的延迟比4090少7倍左右。

整体评测时间（benchmark duration） ：

4090：496.97 s；

H20: 233.22 s。

H20整体花费的时间约为4090的1/2。

不同参数设置下表现

# H20 8卡，修改tp和pp #

tp越小，整体花费的时间越长，吞吐量越低，响应速度越慢，输出单个token以及token之间的延迟越长。

<< 左右滑动或点击放大查看全图 >>

# H20 8卡，tp=8，pp=1 #

测试vllm的其他参数：

use-v2-block-manager ：响应速度快了一点，token间延迟低了一点（P99 ITL降低10ms左右），但吞吐量稍微降低（3个token左右）。
enable-prefix-caching ：吞吐量变高（25个token左右），响应速度降低，延迟变长。
disable-custom-all-reduce ：吞吐量变高，响应速度降低，延迟变长。
enable-chunked-prefill ：吞吐量没有明显变化，响应速度变高，延迟降低（P99 ITL降低一半）。
max-num-batched-tokens ：值为32768时吞吐量最高，对响应速度和延迟没有明显影响。

<< 左右滑动或点击放大查看全图 >>

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

FP8 低精度训练：Transformer Engine 简析

2024-07-11

万字综述 10+ 种 LLM 投机采样推理加速方案

2024-07-11

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-07-09

太爽了！o1 现在可以天天享用了

2024-09-18

通义千问超越GPT4了？

2024-06-11

Qwen2大模型微调入门实战-命名实体识别（NER）任务

2024-07-23

基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

2024-07-20

DifySandbox 的构建背景和实现机制

2024-07-12

彻底理解系列之：FP32、FP16、TF32、BF16、混合精度

2024-07-26

大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）

2024-07-23

大家都在问

LLM实践系列-聊聊大模型STF的数据清洗过程有多繁琐？

2024-11-18

深入理解预训练与微调，为什么需要预训练，什么是微调？

2024-11-16

GenAI部署：成功率与ROI为何双下滑？

2024-11-16

Cursor：如何构建 AI Coding 最佳实践？

2024-10-31

百度如何打造AI原生研发新范式？

2024-10-31

多语言向量模型的语言鸿沟（Language Gap），对比学习能否带来突破？

2024-10-27

如何使用NotebookLM？

2024-10-26

OpenAI新发布的canvas和Claude的Artifacts，哪个更好？

2024-10-25

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯