微信扫码
与创始人交个朋友
进入 2024 年后,企业对 LLM 的关注开始转向生产环境的大规模部署,将 AI 模型接入现有基础设施以优化系统性能,包括降低延迟、提高吞吐量,以及加强日志记录、监控和安全性等。然而这一路径既复杂又耗时,往往需要构建专门的平台和流程。
在部署 AI 模型的过程中,研发团队通常需要执行以下步骤:
环境搭建与配置:首先需要准备和调试运行环境,这包括但不限于 CUDA、Python、PyTorch 等依赖项的安装与配置。这一步骤往往较为复杂,需要细致地调整各个组件以确保兼容性和性能。
模型优化与封装:接下来进行模型的打包和优化,以提高推理效率。这通常涉及到使用 TensorRT 或 TensorRT-LLM 等专业工具来优化模型,并根据性能测试结果和经验来调整推理引擎的配置参数。这一过程需要深入的 AI 领域知识,并且工具的使用具有一定的学习成本。
模型部署:最后,将优化后的模型部署到生产环境中。对于非容器化环境,资源的准备和管理也是一个需要精心策划的环节。
为了进一步降低复杂度,NIM 将模型和运行环境做了解耦,以容器镜像的形式为每个模型或模型系列打包。其在 Kubernetes 内的部署形态如下:
NIM on Kubernetes
同时,模型服务的发布和运行也离不开发布管理、网络访问、观测等能力,VKE 深度整合了火山引擎高性能计算(ECS/裸金属)、网络(VPC/EIP/CLB)、存储(EBS/TOS/NAS)、弹性容器实例(VCI)等服务,并与镜像仓库、持续交付、托管 Prometheus、日志服务、微服务引擎等云产品横向打通,可以实现 NIM 服务构建、部署、发布、监控等全链路流程,帮助企业更灵活、更敏捷地构建和扩展基于自身数据的定制化大型语言模型(LLMs),打造真正的企业级智能化、自动化基础设施。
部署 NIM 前,需要做好如下准备:
VKE 集群中已安装 csi-nas / prometheus-agent / vci-virtual-kubelet / cr-credential-controller 组件
在 VKE 集群中使用相适配的 VCI GPU 实例规格,具体软硬件支持情况可以查看硬件要求:https://docs.nvidia.com/nim/large-language-models/latest/support-matrix.html
创建 NAS 实例,作为存储类,用于模型文件的存储
创建镜像仓库 CR 实例,用于托管 NIM 镜像
开通托管 Prometheus VMP 服务
1. 在国内运行 NIM 官方镜像时,为了避免网络访问影响镜像拉取速度,可以提前拉取相应 NIM 镜像并上传到火山引擎镜像仓库 CR,操作步骤如下:
export NGC_API_KEY=<value> # ngc 的 api key
echo "$NGC_API_KEY" | docker login nvcr.io --username '$oauthtoken' --password-stdin
$ docker pull nvcr.io/nim/meta/llama3-8b-instruct:1.0.0
docker tag nvcr.io/nim/meta/llama3-8b-instruct:1.0.0 <your-cr-host>/<your-cr-namespace>/llama3-8b-instruct:1.0.0
$ echo "<your-cr-password>" | docker login --username=<account-name>@<account-id> <your-cr-host>
docker push <your-cr-host>/<your-cr-namespace>/llama3-8b-instruct:1.0.0
2. 下载代码到本地,进入到代码的 Helm Chart 目录中,把 Helm Chart 推送到镜像仓库(Helm 版本大于 3.7):
$ git clone https://github.com/NVIDIA/nim-deploy.git$ cd nim-deploy/helm/nim-llmhelm registry login --username=<account-name>@<account-id> <your-cr-host>helm package ./ --version 0.2.1helm push nim-llm-0.2.1.tgz oci://<your-cr-host>/<your-cr-namespace>
3. 在 VKE 的应用中心的 Helm 应用中选择创建 Helm 应用,并选择对应 chart,集群信息,并点击 values.yaml 的编辑按钮进入编辑页:
4. 覆盖 values 内容为如下值来根据火山引擎环境调整参数配置,提升部署性能,点击确定完成参数改动,再继续在部署页点击确定完成部署
image:# Adjust to the actual location of the image and version you wantrepository: <your-cr-host>/<your-cr-namespace>/llama3-8b-instructtag: 1.0.0model:name: meta/llama3-8b-instruct # not strictly necessary, but enables running "helm test" belowngcAPISecret: ngc-apingcAPIKey: "<your-ngc-api-key>"persistence:enabled: truestorageClass: "<your-nas-storage-class>"annotations:helm.sh/resource-policy: keepstatefulSet:enabled: falsemetrics:enabled: trueserviceMonitor:# for use with the Prometheus Operator and the primary service objectenabled: trueadditionalLabels: volcengine.vmp: "true"service:type: LoadBalancerpodAnnotations:vci.vke.volcengine.com/preferred-instance-family: vci.gni2 #规格按模型和region情况具体选择,参考https://www.volcengine.com/docs/6460/76911选择适配规格vke.volcengine.com/burst-to-vci: enforceresources:limits:nvidia.com/gpu: 1
5. Pod 启动过程中需要下载模型,需要等待模型下载完成时间。若 Pod 日志出现如下内容或者 Pod 状态变成 Ready,说明服务已经准备好:
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
6. 在 VKE 控制台获取 LB Service 地址 (Service 名称为 <release-name>-nim-llm)
7. 访问 NIM 服务
$ curl -X 'POST' \'http://<lb-ip>:8000/v1/chat/completions' \-H 'accept: application/json' \-H 'Content-Type: application/json' \-d '{"messages": [{"content": "You are a polite and respectful chatbot helping people plan a vacation.","role": "system"},{"content": "What should I do for a 4 day vacation in Spain?","role": "user"}],"model": "meta/llama3-8b-instruct","max_tokens": 16,"top_p": 1,"n": 1,"stream": false,"stop": "\n","frequency_penalty": 0.0}'
会有如下输出:
{"id":"cmpl-a98bbfec02ab4771a3d6ad81caf63e94","object":"chat.completion","created":1718878017,"model":"meta/llama3-8b-instruct","choices":[{"index":0,"message":{"role":"assistant","content":"¡hola! Spain is a wonderful destination, and I'd be delighted to"},"logprobs":null,"finish_reason":"length","stop_reason":null}],"usage":{"prompt_tokens":42,"total_tokens":58,"completion_tokens":16}}
NIM 提供了丰富的观测指标和 Grafana Dashboard,详情可参考 Observability:https://docs.nvidia.com/nim/large-language-models/latest/observability.html#prometheus。
在 VKE 中,可通过如下方法搭建 NIM 监控:
1. 参考文档搭建 Grafana:https://www.volcengine.com/docs/6731/126068。
2. 进入 Grafana 中,在 dashboard 菜单中选择 import:
3. 按照 NIM 官方文档中的教程导入 NIM Dashboard:
4. 观测面板效果如下:
相比直接构建大模型镜像,基于 VKE 使用 NIM 部署和访问模型有如下优点:
易用性:NIM 提供了预先构建好的模型容器镜像,用户无需从头开始构建和配置环境,配合 VKE 与 CR 的应用部署能力,极大简化了部署过程
性能优化:NIM 的容器镜像是经过优化的,可以在 NVIDIA GPU 上高效运行,充分利用 VCI 的硬件性能
模型选择:NIM 官方提供了多种大语言模型,用户可以根据需求选择合适的模型,部署在 VKE 中仅需对 values.yaml 配置做修改即可
自动更新:通过 NGC,NIM 可以自动下载和更新模型,用户无需手动管理模型版本
可观测性:NIM 内置了丰富的观测指标,配合 VKE 与 VMP 观测能力开箱即用
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-07-18
2024-03-30
2024-04-11
2024-04-26
2024-05-06
2024-06-12
2023-07-01
2024-05-09
2024-07-07
2024-04-25