我要投稿

Ollama：本地运行大型语言模型的最佳选择

发布日期：2024-04-30 05:30:08 浏览次数： 3236 来源：科技天启

什么是 Ollama？

Ollama 是一个用于在本地运行大型语言模型 (LLM) 的开源框架。它支持多种平台，包括 Windows、Linux 和 macOS。

Ollama 的主要功能包括：

将 LLM 模型转换为可执行文件
提供简单的命令行界面来运行 LLM 模型
支持多种 LLM 模型，包括 LaMDA、Bloom 和 Megatron-Turing NLG

Ollama 的优势包括：

易于使用：Ollama 提供简单的命令行界面，即使是没有经验的用户也可以轻松使用。
高性能：Ollama 使用高效的 C++ 代码编写，可以充分利用您的硬件资源。
可扩展性：Ollama 支持多种 LLM 模型，并且可以扩展以支持新的模型。

Ollama 的使用场景包括：

研究：Ollama 可用于研究人员开发和测试新的 LLM 模型。
教育：Ollama 可用于教育工作者向学生介绍 LLM 技术。
商业：Ollama 可用于企业开发 LLM 驱动的应用程序。

Ollama 的官方网站：https://ollama.com/

为什么 Ollama 能够脱颖而出？

Ollama 能够脱颖而出，主要有以下几个原因：

易用性: Ollama 提供简单的命令行界面，即使是没有经验的用户也可以轻松使用。

高性能: Ollama 使用高效的 C++ 代码编写，可以充分利用您的硬件资源。

可扩展性: Ollama 支持多种 LLM 模型，并且可以扩展以支持新的模型。

活跃的社区: Ollama 拥有一个活跃的社区，可以为用户提供帮助和支持。

免费开源: Ollama 是免费开源的，任何人都可以自由使用和修改。

以下是一些具体的原因:

Ollama 提供了一个简单的命令行界面，即使是没有经验的用户也可以轻松使用。 这与其他 LLM 框架形成鲜明对比，这些框架通常需要用户编写复杂的代码。
Ollama 使用高效的 C++ 代码编写，可以充分利用您的硬件资源。 这意味着 Ollama 可以比其他 LLM 框架更快地运行 LLM 模型。
Ollama 支持多种 LLM 模型，并且可以扩展以支持新的模型。 这使得 Ollama 能够满足各种用户的需求。
Ollama 拥有一个活跃的社区，可以为用户提供帮助和支持。 这对于初学者和经验丰富的用户都非常有帮助。
Ollama 是免费开源的，任何人都可以自由使用和修改。 这使得 Ollama 成为一个非常具有吸引力的选择。

总而言之，Ollama 是一个易于使用、高性能、可扩展且免费开源的 LLM 框架。这些因素使得 Ollama 能够脱颖而出。

在 Windows 上使用 Ollama

欢迎迈入 AI 和 ML 的新时代！接下来，我们将带你完成上手的每一步，还会提供一些实用的代码和命令示例，确保你一路畅通。

步骤 1：下载和安装

1：访问 Ollama Windows Preview 页面，下载OllamaSetup.exe安装程序。

2：双击文件，点击「Install」开始安装。

在 Windows 中安装 Ollama

3：安装完成之后，就可以开始在 Windows 上使用 Ollama 了。

步骤 2：启动 Ollama 并获取模型

要启动 Ollama 并从模型库中获取开源 AI 模型，请按以下步骤操作：

1：在「开始」菜单中点击 Ollama 图标，运行后会在任务栏托盘中驻留一个图标。

从开始菜单中启动 Ollama

2：右键点击任务栏图标，选择「View log」打开命令行窗口。

3：执行以下命令来运行 Ollama，并加载模型：

ollama run [modelname]

运行 qwen:4b 模型

执行以上命令后，Ollama 将开始初始化，并自动从 Ollama 模型库中拉取并加载所选模型。一旦准备就绪，就可以向它发送指令，它会利用所选模型来进行理解和回应。

记得将modelname名称换成要运行的模型名称，常用的有：

运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。

步骤 3：使用模型

如前所述，Ollama 支持通过各种各样的开源模型来完成不同的任务，下面就来看看怎么使用。

基于文本的模型：加载好文本模型后，就可以直接在命令行里输入文字开始与模型「对话」。例如，阿里的 Qwen（通义千问）：

输入文字开始与 qwen 模型对话

步骤 4：连接到 Ollama API

我们不可能只通过命令行来使用，将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里，或者在 LobeChat / AnythingLLM 这类的前端工具中进行调用。

以下是如何连接和使用 Ollama API 的步骤：

默认地址和端口：Ollama API 的默认地址是http://127.0.0.1:11434，可以在安装 Ollama 的系统中直接调用。
修改 API 的侦听地址和端口：如果要在网络中提供服务，可以修改 API 的侦听地址和端口。

1：右击点击任务栏图标，选择「Quit Ollama」退出后台运行。

2：使用Windows + R快捷键打开「运行」对话框，输出以下命令，然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。

C:\Windows\system32\rundll32.exe sysdm.cpl, EditEnvironmentVariables

3：要更改侦听地址和端口，可以添加以下环境变量：

变量名：OLLAMA_HOST
变量值（端口）：:11434

指定 Ollama API 侦听地址和端口

只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:11434端口。

要使用 IPv6，需要 Ollama 0.0.20 或更新版本。

4：如果安装了多个模型，可以通过OLLAMA_MODELS变量名来指定默认模型。

5：更改完之后，重新运行 Ollama。然后在浏览器中测试访问，验证更改是否成功。

验证 API 工作状态

6 示例 API 调用：要使用 Ollama API，可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl命令给 Gemma 模型发送文字提示的例子：

curl http://192.168.50.123:11434/api/generate -d '{"model": "qwen:4b","prompt": "海洋美吗？"}'

Ollama API 调用示例

Ollama 的常用命令有：

# 查看 Ollama 版本ollama -v
# 查看已安装的模型ollama list
# 删除指定模型ollama rm [modelname]
# 模型存储路径# C:\Users\<username>\.ollama\models

按照上述步骤，并参考命令示例，你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令，通过 API 将 AI 模型集成到你的软件当中，还是通过前端套壳，Ollama 的大门都已经为你敞开。

Ollama on Windows 的最佳实践

要让 Ollama 在 Windows 上充分发挥最大潜力，需要注意以下几点最佳实践和技巧，这将帮助你优化性能并解决一些常见问题：

优化 Ollama 的性能：

检查硬件配置：确保你的设备满足 Ollama 推荐的硬件要求，尤其是运行大型模型时。如果你有 NVIDIA 或 AMD GPU，还可以享受 Ollama 提供的自动硬件加速，大幅提升计算速度。
更新驱动程序：保持显卡驱动程序为最新版本，以确保与 Ollama 的兼容性和最佳性能。
释放系统资源：运行大型模型或执行复杂任务时，请关闭不必要的程序，释放系统资源。
选择合适模型：根据任务需求选择合适的模型。大参数模型虽然可能更准确，但对算力的要求也更高。对于简单任务，使用小参数模型更有效率。