微信扫码
添加专属顾问
我要投稿
本期给大家推荐有58k+star的开源大模型管理项目:ollama;
ollama是一款旨在简化大语言模型本地部署和运行的实用工具。它提供了一个轻量级且可扩展的框架,让开发者能够在本地机器上便捷地构建和管理LLMs。
这个框架非常适合初学者使用,它的调用方式已经封装成与OpenAI ChatGPT相同的标准输入输出,方便对接上层的问答系统。它支持众多大型模型,只需一个命令即可下载模型文件并启动服务,使用起来十分便捷高效。本文主要介绍如何利用docker部署ollama工具,快速部署llama3大模型服务。
下面是ollama支持的大模型列表:
完整的模型列表可以访问: https://ollama.com/library
github地址:
https://github.com/ollama/ollama
官网下载地址:
https://ollama.com/download
本文内容主要分为三个部分:
下面开始正式教程
部署前的准备工作:
1、安装好docker;
2、内存或者显存大小要求:
7B模型-至少需要8GB可用内存(显存);
13B模型-至少需要16GB可用内存(显存);
一、CPU方式部署ollama
1、拉取docker镜像
docker pull ollama/ollama
2、部署ollama容器
docker run -d -v $PWD/ollama:/root/.ollama -p 11434:11434 \
--name ollama ollama/ollama
3、进入ollama容器内部
docker exec -it ollama /bin/bash
4、运行llama3 模型服务
ollama run llama3
模型文件会自动下载;
等待下载完成即可,详细的使用教程请看下面的第三小节;
二、GPU方式部署ollama
1、安装 NVIDIA Container Toolkit. (若已安装则跳过这步!)
2、利用docker创建ollama容器
docker run -d --gpus=all -v $PWD/ollama:/root/.ollama \
-p 11434:11434 --name ollama ollama/ollama
参数说明:
--gpus=all : 挂载全部的gpu
容器部署成功后截图:
3、进入ollama容器内部
docker exec -it ollama /bin/bash
4、运行llama3 模型服务
ollama run llama3
模型文件会自动下载;
问题1:你是谁?
问题2:你会做什么?使用中文回答
三、llama3 大模型的使用教程
1、curl命令行调用方式
浏览器访问:ip:11434;可以看到显示ollama服务器正在运行;
利用curl的方式调用llama3大模型
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama3",
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "Hello!"
}
]
}'
2、 python 代码调用llama3大模型
url="http://ip:11434/v1/chat/completions"
完整代码如下:
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@File :ollama_function.py
@Author :aixiaoxin
@Date
import requests
def request_chatgpt_function():
url="http://ip:11434/v1/chat/completions" #ip为你部署的ip
OPENAI_API_KEY="sk-xxxxx" # 不需要修改
header={"Content-Type": "application/json","Authorization": "Bearer " +OPENAI_API_KEY}
data={
"model": "llama3",
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "你是谁?请用中文回答"
}
],
"temperature":0,
"stream":False
}
response=requests.post(url=url,headers=header,json=data).json()
print(response)
return response
if __name__ == "__main__":
request_chatgpt_function() # 利用request请求调用
运行截图:
更多调用chatgpt的方式,可以参考下面的文章:
以上就是今天的所有内容了!
参考文献:
ollama的docker部署教程:https://hub.docker.com/r/ollama/ollama
13k+star的LLM接口管理系统one-api的部署教程
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-02-01
2025-01-01
2024-08-13
2025-02-04
2024-07-25
2024-04-25
2024-06-13
2024-09-23
2024-04-26
2024-08-21
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-16
2025-03-16