我要投稿

NVIDIA 培训 | 学习使用 NVIDIA NIM 部署生产级 RAG 应用

发布日期：2024-07-10 19:46:19 浏览次数： 2062 来源：NVIDIA英伟达企业解决方案

《使用 NVIDIA NIM 大规模部署 RAG 工作流》

新课发布

配有实战练习环境的在线自主培训

在现代企业商业智能化的发展中，检索增强生成（RAG）在大语言模型应用中的地位日益凸显。不仅能够显著提升企业内容创作与交互的智能化水平，还能在多个业务场景中实现精准信息抽取与高效内容生成。企业级的 RAG 应用需要应对巨大流量和大规模文档，从模型搭建到生产级部署具有很高的复杂度和参数量。

本课程探讨 RAG 工作流生产级部署的最佳实践。您将学习部署、监控、自动扩展、线上热更新的全工作流。为您在搭建部署过程中，降低试错成本，加速大模型应用落地。

课程时长：4 学时（课后 6 个月内可以继续访问课件，实验资源用量有限额）

课程语言：中文

工具、库、框架：NVIDIA NIMs、Kubernetes、Helm、Grafana、Prometheus

学习目标：

使用 Helm 和 NVIDIA RAG Operator 将 RAG 应用部署到 Kubernetes 集群上。
利用 NVIDIA NIM 实现可扩展的容器化 LLM 和嵌入模型。
连接、更新、添加和自动扩展应用组件。
使用 Prometheus 和 Grafana 监控应用性能。

课程大纲：

课程设置概述：熟悉课程的交互式环境、Kubernetes 设置，并了解课程所需的 Kubernetes 概念和命令。
基于 Kubernetes 的 RAG 应用部署：如何使用 Kubernetes 和 Helm 部署 RAG 工作流，以及如何在工作流中使用单个 NIM 服务。
监控：如何使用 DCGM 监控应用程序，以及如何配置和查看 Grafana 和 Prometheus。
自动扩展：基于自定义指标使用 HPA 自动扩展应用程序，并对应用程序进行负载测试。
自定义 RAG 工作流组件：替换应用组件，例如 LLM。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

大家都在问

在推荐、RAG等业务中，如何完成亿级向量的快速检索？

2024-12-26

除了混合搜索，RAG 还需要哪些基础设施能力？

2024-12-24

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

为什么分块在RAG技术中很重要？但又很没有存在感？

2024-12-14

比GraphRAG还好的LightRAG到底是何方神圣？

2024-12-01

企业级RAG应用的5大技术发展趋势，你准备好了吗？

2024-11-27

RAG搭建中，如何选择最合适的向量索引？

2024-11-25

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯