我要投稿

AIGC之Ollama 本地大模型应用实战

发布日期：2024-06-26 17:21:52 浏览次数： 2178 来源：顶层架构领域

Ollama 是一个开源项目，旨在简化在本地部署和运行大型语言模型（LLMs）的过程。它提供了一系列工具和功能，使得开发者和研究人员能够更容易地在自己的机器上利用这些先进的AI模型，而无需依赖云端服务。

官网：https://ollama.com

Github：https://github.com/ollama/ollama

一、运行环境准备

Ollama 官方提供了 Docker 镜像安装，可以在 Docker Hub 上获取：

Docker Hub ：https://hub.docker.com/r/ollama/ollama

二、模型库提供商

提供商：https://ollama.com/library

运行 7B 模型需要至少 8GB 的 RAM，运行 13B 模型需要 16GB RAM，运行 33B 模型需要 32GB RAM。

三、运行本地大模型

运行并与 Llama 3 进行交流，可以使用以下命令：

四、命令行操作 CLI 参考

创建模型

ollama create selfModel -f ./Modelfile

更新模型

ollama pull llama3

删除模型

ollama rm llama3

复制模型

ollama cp llama3 self-llama3

多行输入

使用 """ 包裹文本

>>> """Hello,... world!... """I'm a basic program that prints the famous "Hello, world!" message to the console.多模态模型>>> What's in this image? /Users/aid/smile.pngThe image features a yellow smiley face, which is likely the central focus of the picture.

提示作为参数传入

$ ollama run llama2 "Summarize this file: $(cat README.md)" Ollama is a lightweight, extensible framework for building and running language models on the local machine. It provides a simple API for creating, running, and managing models, as well as a library of pre-built models that can be easily used in a variety of applications.

列出已安装模型列表

ollama list

启动 Ollama

ollama serve

五、源码构建Ollama

安装 cmake 和 go：

brew install cmake go

然后生成依赖项：

go generate ./...

然后构建二进制文件：

go build .

更详细的说明可以在开发者指南中找到。

运行本地构建

启动服务器：

./ollama serve

在shell 中，运行模型：

./ollama run llama2

六、REST API文档提供

详细信息查看文档

https://github.com/ollama/ollama/blob/main/docs/api.md

查看更多集成案例，可以查看github仓库文档

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

太强了！10大开源大模型！

2024-05-06

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

DeepSeek-V3 正式发布

2024-12-26

大家都在问

DeepSeek v3为何爆火？如何用其集成Milvus搭建RAG？

2025-01-22

构建企业私有RAG大模型: (可商用)DeepSeek-V3开源部署，真的强吗？

2025-01-16

大模型的泡沫什么时候破灭？

2024-12-24

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

2024-11-22

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

2024-11-19

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

场景解决方案

【智能问答】解决方案

【应用智改】解决方案

【智能工单】解决方案

四、命令行操作 CLI 参考

创建模型

更新模型

删除模型

复制模型

多行输入

提示作为参数传入

列出已安装模型列表

启动 Ollama

五、源码构建Ollama

运行本地构建

六、REST API文档提供

相关资讯

160+中大型企业正在使用53AI

把握AI发展的机遇，共同探索、共同进步

如何打造基于GenAI的员工服务机器人

热点资讯

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

Ollama 本地运行大模型(LLM)完全指南

太强了！10​大开源大模型！

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

如何免费使用 Claude AI？Claude使用指南！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

DeepSeek-V3 正式发布

大家都在问

DeepSeek v3为何爆火？如何用其集成Milvus搭建RAG？

构建企业私有RAG大模型: (可商用)DeepSeek-V3开源部署，真的强吗？

大模型的泡沫什么时候破灭？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

热门标签

太强了！10大开源大模型！