推荐语

掌握Ollama，轻松部署大语言模型，提升本地工作流效率。

核心内容：
1. Ollama大语言模型服务后台介绍及其优势
2. Ollama安装步骤与系统要求
3. 检查安装成功及模型下载路径设置

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

为了给以后的工作流和本地模型铺路，有必要说一下Ollama本地大语言后台的安装。

1.Ollama

在安装之前，有必要先说明一下Ollama是什么。

Ollama是一个大语言模型的服务后台，能够在零基础的前提下帮助用户轻松部署大语言模型。

其特点包括如下：

优点：Ollama后台服务能够帮助用户轻松搭建大语言模型服务，并且提供相应的API以扩展到其他如Dify等Web前台以及Obsidian等笔记软件，以最快的速度形成AI问答/AGENT/工作流等工作形式。并且Ollama提供模型免费下载，用户可以直接下载多种主流的开源大语言模型。同时Ollama支持不同系统，如windows、Linux、MacOS等

缺点：对于部分特殊的开源模型不支持/未收录，模型数量较大，用户需结合自己的需求自行分辨大语言模型的特点。

从多种角度来说，Ollama是目前最为快速、最方便的本地化大语言模型后台

2.Ollama的安装

2.1 下载Ollama

在下载前需要注意：

1、Windows系统需要在Windows10以上系统；

2、如果想要跑7b以上模型，建议显存在6g以上，内存16g以上，以独立显卡为佳，显卡以Nvidia为佳，非独立显卡将会用CPU来跑，速度会慢一大截。

Ollama下载地址为：

https://ollama.com

打开页面后出现官网，点击Download下载：

点击下载后即可下载对应的Ollama程序。下载完毕后双击一路下一步即可运行。

2.2 查看安装是否成功

如果安装成功，Ollama会出现在右下角：

出现这个图标即代表Ollama安装成功。

打开浏览器，并输入

http://127.0.0.1:11434

或

http://localhost:11434

如果显示出一行小字则代表Ollama服务运行成功。

2.3 Ollama模型下载路径相关设置

如果不想你的C盘因为下载大模型（很多都是几G到十几G甚至几十G）被占用太多空间，那么可以做如下设置，如果无所谓可忽略本条操作：

点击windows开始按钮或者直接点开开始菜单，选择设置，或者直接按下Windows快捷键win+i打开设置：

在搜索中输入系统变量

在弹出的窗口中选择环境变量，然后在新窗口中的用户变量中点新建，在弹出的小窗口中输入

变量名：

OLLAMA_MODELS

变量值：

（你想要存放大语言模型的路径，举例说明：我想把模型存放在E盘Github code文件夹下的OLLAMAMODEL这个文件夹中，那么变量值就输入如下）

E:\Github code\OLLAMAMODEL

点击确定，这个新变量会出现在你的用户变量中。

至于OLLAMA_HOST这个变量，在某种程度上对于Docker部署前台是不利的，所以不建议设置。

3.试运行Ollama

提前说明：如果上述操作成功，但以下操作未成功，需要重启一下电脑。

3.1 Ollama试运行（非大模型运行）

对电脑的windows按钮点右键，选择终端管理员/终端，当然win+r输入cmd启动命令提示符亦可，但是建议使用管理员权限：

在打开的黑色窗口中输入ollama，然后回车，如果出现下面的内容则表示服务正常：

如需插图图片、视频、小程序卡片、代码块，去微信后台弄更方便。

3.2 Ollama模型选择

进入Ollama的模型图书馆找找模型：

https://ollama.com/library

但是这个时候你肯定不知道应该搜索什么模型，也不知道自己的业务场景想法，所以这里推荐如下模型：

Qwen2：通义千问2大模型，对中文的支持能力非常不错，是我个人认为通用型中文开源模型中做的相当好的，配置一般的电脑推荐使用1.5B模型（CPU跑），7B模型（独立显卡较好）。至于更大的72B模型如果显卡能力不佳不建议尝试。

deepseek-coder-v2：如果你是程序员，那么deepseekV2一定是非常适合你的，deepseekV2用的MoE架构，反应速度不错，支持多种编程语言，可以理解为一个非常好的编程助手模型。

Phi3：微软的小模型，运行速度非常快，对空间占用很小，运行效果尚可，满足机器硬件不足的电脑本地跑模型。但是因为模型太小了，对于输入和输出能力效果是非常有限的。不过对于Phi3的中模型，我们可以收回以上的话，不过主语料是英文，所以中文能力一般。

以上是Phi3中模型截图

Llama3.1：目前最新的Llama模型，推荐使用8b模型，或者8b对应的量化模型（速度可以很快）。如果你的常用语言是中文，llama3.1可能并不是最适合你的。

command-r和command-r-plus：Command-r系列是我个人非常喜欢的一个大模型，在之前的9.8和9.11谁更大的问题上，是唯一一个回答正确的大模型，并且模型非常规整，非常适合作为企业大模型使用。但是模型比较大，尤其是command-r+，104b的体量不是一般普通显卡能消受的，对硬件要求比较高。这个公司也出了很好的大模型aya，也是很好的作为性格赋予的数字人模型。

llava：一个非常推荐的多模态大模型，可以识别图片并进行输出，但是对中文支持很差，所以推荐使用llava的变体llava-llama3，对语言支持性更好。

bge-large和bge-m3：一个embeddings知识库压缩模型，并不是用于输出文字的，而是用于知识库压缩的，尤其是对中文文本支持能力较好，属于特殊的大模型。bge-m3是bge最新的模型。

3.3 Ollama模型下载

对于喜欢的大模型，选择对应的大模型，右边会自动出现运行的命令，点击右边的复制按钮，这里以最近被自媒体炒得很凶的llama3.1模型为例：

然后在黑色窗口中点右键复制到运行栏中并回车：

等待下载完成，有进度条，这个时间视网速而定。

下载完成后会自动运行（已经下载的将会直接运行，例如下面）：

这里可以直接输入问题并回车，即可得到答案：

4.结语

至此Ollama已经成功部署到你的电脑本地了

在后面的过程中将会介绍以Ollama作为核心展开个人知识库的建设。

由于开源大模型在持续更新，对语言大模型的需要用户根据自己的业务场景和需求进行判断。