• 背景：

随着人工智能技术的飞速发展，AI已成为我们日常生活和工作中不可或缺的一部分，它们强大的学习和处理能力在各个领域都展现出惊人的潜力。对于编程爱好者来说，AI俨然已经成为我们强有力的助手，极大地提高了开发效率和创新能力。

然而，与此同时，也有不少人关心AI技术可能带来的隐私泄露问题。AI在解决我们问题的同时，可能就已获取到我们的敏感信息、公司的知识产权，如果这些数据没有得到妥善的保护和管理，就可能面临被滥用或泄露的风险。

因而部署本地开源大模型的需求越发迫切，通过本地部署，模型和交互数据均存储在本地，数据安全得到保证、符合隐私需要、避免网络延迟或断网风险自主可控等。

• 部署后的界面效果：

与常用在线AI使用习惯完全相同，支持多用户登录，注册用户数据均保存在本地服务器中。

• 部署过程：

• 安装Ollama工具

  Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型。Ollama极大地简化了在Docker容器内部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。

    下载地址：https://ollama.com/download

    安装后，启动Windows PowerShell，输入Ollama -v回车后，输出版本信息，即表示安装成功。

     在https://ollama.com/library中可查看Ollama中可用的大模型。

    输入ollama run “模型名称”即可自动下载Ollama中已有的模型并在下载后运行，比如 

ollama run qwen2:1.5b 下载并运行阿里通译千问2的1.5B版本大模型

ollama run gemma:2b 下载并运行谷歌gemma的2B版本大模型

注：b为Billion十亿，1.5b即15亿可训练参数/神经元,值越大越精准，但对算力和存储的要求也越高。为了适配不同需求，开源大模型都有不同的量级模型库供大家选择，例如通译千问2有0.5B 1.5B 7B 72B四种模型库。

    下载完成出现>>>提示符后就可以输入问题与AI聊天啦，输入/exit退出。

    至此一个本地化的大模型部署就基本完成了！   

• 部署特殊大模型

  毕竟Ollama提供的大模型有限，尤其缺少对中文兼容性较好的模型，鉴于此我们需要下载所需的特殊大模型，并通过Ollama运行起来。

  比如当下炙手可热的Meta Llama3中文微调版，微调后的模型能更好支持中文问答。

  Llama3于2024年4月18日发布，各项指标全面逼近GPT-4，它提供了8B和70B两个版本，8B模型版本最低仅需4G显存即可运行。

  下载模型推荐使用GiteeAI，速度更快，输入关键词“llama 3”检索模型。

    地址：https://ai.gitee.com/models?q=llama+3&p=1

    有条件的同学可以使用Huggingface，开源大模型更多更全。

    https://huggingface.co/models 

    推荐GGUF格式的大模型，模型容量更小

    克隆仓库：

    在Windows PowerShell中使用CD命令切换至需要保存模型的路径，然后执行以下脚本克隆模型数据。

    克隆时间与网络速度和模型大小有关，请耐心等待。

    新建Config.txt文件，将"From"后的路径改为已下载模型中的GGUF文件路径:

     FROM "C:/llama3/Llama3-8B-Chinese-Chat-GGUF-f16/Llama3-8B-Chinese-Chat-f16-v2_1.gguf"

     TEMPLATE """{{- if .System }}

     <|im_start|>system {{ .System }}<|im_end|>

     {{- end }}

     <|im_start|>user

     {{ .Prompt }}<|im_end|>

     <|im_start|>assistant

     """

     SYSTEM """"""

     PARAMETER stop <|im_start|>

     PARAMETER stop <|im_end|>

    在Windows PowerShell 中切换至config.txt文件所在路径， 执行以下命令:

     ollama create llama3-cn -f ./config.txt

    即根据config.txt的内容将下载的大模型转换为名称llama3-cn的本地模型。

    成功转换后用ollama list命令查看已安装模型：

    可以下载多个模型，给每个模型写一个配置文件（仅需修改路径），转换时起不同的名字，就可以用Ollama方便地运行各种模型。

    命令行运行大模型:

    ollama run llama3-cn

    出现>>>提示符时就可以向AI提问了，输入/exit退出。

    需要注意的是一些模型运行需要依赖强劲的CPU和GPU，所以不同电脑运行速度可能不同。

• 交互界面
  

    通过以上部署我们已经可以通过命令行实现大模型使用，不过为了进一步提高交互性，可以借助Docker和OpenWebUI实现ChatGPT的聊天效果。

    Docker 是一个开源的软件平台，主要用于开发、发布和运行应用程序。它通过提供一种虚拟化的操作环境，使得开发人员可以轻松地将应用程序及其所有依赖项打包成一个标准化的单元，这个单元称为“容器”。容器化的应用可以轻松部署到各种云平台，享受云原生的优势。

下载链接：

    https://www.docker.com/products/docker-desktop/

或 ：

    链接：https://pan.baidu.com/s/1aAw6KCr8l2yQziHw6cpDRA

    提取码：royx

安装过程选择默认设置即可。

安装后在Windows PowerShell中，输入 docker -v，显示版本号即表示安装成功。

启动Windows PowerShell,执行以下脚本安装OpenWebUI

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

安装完成后启动Docker应用程序，将看到OpenWebUI

浏览器中输入本地网址：localhost:3000，启动Open WebUI网页界面

    首次启动需要注册账户，注册信息保存在本地电脑中。

    注意：

• 第一个注册用户默认为管理员，其后注册的用户需要管理员激活方能使用。

• OpenWebUI不会与外部建立任何链接，所有数据会安全的存储在本地托管的服务器或电脑上。

    登录后选择Ollama已运行的其中一个模型，问答过程中可以随时切换模型。

    最后，在本地化AI的协助下开始高效的工作吧！