微信扫码
添加专属顾问
我要投稿
掌握AI技术,构建本地知识库,实现数据安全与智能管理。 核心内容: 1. 数据处理在大模型应用中的重要性 2. 私有化部署大模型的必要性与挑战 3. 搭建支持GPU加速的本地知识库系统实战步骤
大模型应用的关键,不只是构建好模型算法,更重要的是做好数据的处理、挖掘等问题。数据贯穿了大模型从预训练到产业落地的全过程。
一定程度上,智能时代,企业数据处理能力有多强,决定了业务发展的天花板有多高。
而能力再强大的 LLM 也只能取代人部分学习和推理能力,无法取代存储和访问数据的能力;参数再多的 LLM 也不能仅凭基于通用数据的训练就能精确表达企业内部海量且丰富的数据。而处理这类数据,才是私有化场景的主要需求。
一方面,企业很难把自己具有核心竞争力的数据放到大模型中去训练;
本文将带您构建一个集大模型推理、智能检索、知识加工于一体的本地知识库系统,深度融合DeepSeek认知大模型的语义理解能力、RagFlow的文档智能处理能力以及Ollama的本地化部署优势。该系统具备三大核心价值:
本文将以DeepSeek、RagFlow、Ollama为核心,手把手带你搭建一套支持GPU加速的私有知识库系统,助你快速实现AI技术的本地化部署与私有知识管理。
本文基于 Ubuntu 22.04 LTS 系统,使用了 NVIDIA A10显卡在ollama上部署了deepseek 32b模型,如果显卡性能不够的话,也可以部署14b或者7b的小模型,系统整体包括以下组件:
Docker:容器化运行环境
Ollama:本地大模型推理引擎
RagFlow:RAG(检索增强生成)框架
MinIO/MySQL/Redis:存储与缓存基础设施
Docker是一个开源的容器化平台,能够帮助我们在隔离的环境中运行应用程序。在安装之前,首先更新索引:sudo apt update
其次输入指令sudo apt install docker.io
使用apt安装docker:安装成功后可以使用
docker -v
查看docker版本,使用docker ps
查看当前docker container情况:能够显示内容,则说明docker安装成功!
Ollama是一个轻量级的模型服务框架,支持多种深度学习模型的部署和管理。它提供了简单的API接口,方便用户快速部署和使用模型服务。
Ollama的安装非常简单,这里我们可以通过Docker来快速部署,在国内环境下,一般使用
docker pull ollama/ollama
会报 docker error response from daemon: get "https://registry-1.docker.io/v2/
错误,这是因为服务器无法访问到对应网站。
这里可以采用国内镜像网站加速的方案:https://github.com/dongyubin/DockerHub
比如,这里使用docker.1ms.run镜像网站拉取ollama:
sudo docker pull docker.1ms.run/ollama/ollama
拉取后要记得使用docker tag 重命名为ollama/ollama,即:
:docker tag docker.1ms.run/ollama/ollama ollama/ollama
如果你的机器配备了NVIDIA GPU,可以通过NVIDIA Docker工具包来启用GPU加速。
首先输入以下指令配置添加NVIDIA Docker仓库并安装NVIDIA Docker 2.x:
# 安装NVIDIA Docker工具包
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker
然后以GPU模式启动Ollama容器
sudo docker run -d --gpus all -p 8080:8080 --name ollama ollama/ollama
RagFlow是一个基于RAG(Retrieval-Augmented Generation)框架的工具,能够结合检索和生成模型,提供更精准的问答服务。它通过从知识库中检索相关信息,再结合生成模型生成答案,显著提升了问答系统的准确性。
使用sudo docker compose -f docker-compose-base.yml up -d
安装,一般会报错:这里可以同样采用刚刚的方法,打开docker-compose-base.yml文件,找到报Error的镜像名称和版本号:
使用同样的方法先下载,再用tag重命名:
如此同样的方法下载infinity、mysql、minio、redis:
分别安装完成后,再输入一遍
sudo docker compose -f docker-compose-base.yml up -d
,检查是否全部下载完成,如果显示如下则说明全部下载完成:下载好基础镜像后,还需要根据需求安装对应版本的RagFlow,这里选择安装Linux GPU版本:
输入
sudo docker compose -f docker-compose-gpu.yml up -d
安装GPU版本的RAGFlow
输入
sudo docker ps -a
可以看到目前运行的镜像状态,显示有ragflow-server、mysql、minio、redis、es、ollama这些镜像才算成功启动,如下:输入对应的ip或者域名即可访问:
这样你就成功搭建了一个的本地私有知识库系统。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-14
2025-01-23
2024-07-10
2024-11-07
2025-02-17
2024-04-24
2024-08-04
2024-06-23
2024-05-15
2024-07-10
2025-03-22
2025-03-17
2025-03-11
2025-03-09
2025-03-05
2025-03-01
2025-02-20
2025-02-17