粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
本期给大家推荐有58k+star的开源大模型管理项目：ollama；
ollama是一款旨在简化大语言模型本地部署和运行的实用工具。它提供了一个轻量级且可扩展的框架,让开发者能够在本地机器上便捷地构建和管理LLMs。
这个框架非常适合初学者使用,它的调用方式已经封装成与OpenAI ChatGPT相同的标准输入输出,方便对接上层的问答系统。它支持众多大型模型,只需一个命令即可下载模型文件并启动服务,使用起来十分便捷高效。本文主要介绍如何利用docker部署ollama工具，快速部署llama3大模型服务。
下面是ollama支持的大模型列表：
完整的模型列表可以访问： https://ollama.com/library
github地址：
https://github.com/ollama/ollama官网下载地址：
https://ollama.com/download本文内容主要分为三个部分：
下面开始正式教程
部署前的准备工作：
1、安装好docker；
2、内存或者显存大小要求：
7B模型-至少需要8GB可用内存(显存)；
13B模型-至少需要16GB可用内存(显存)；
一、CPU方式部署ollama
1、拉取docker镜像
docker pull ollama/ollama2、部署ollama容器
docker run -d -v $PWD/ollama:/root/.ollama -p 11434:11434 \--name ollama ollama/ollama
3、进入ollama容器内部
docker exec -it ollama /bin/bash4、运行llama3 模型服务
ollama run llama3模型文件会自动下载；
等待下载完成即可，详细的使用教程请看下面的第三小节；
二、GPU方式部署ollama
1、安装 NVIDIA Container Toolkit. (若已安装则跳过这步！)
2、利用docker创建ollama容器
docker run -d --gpus=all -v $PWD/ollama:/root/.ollama \-p 11434:11434 --name ollama ollama/ollama
参数说明：
--gpus=all : 挂载全部的gpu
容器部署成功后截图：
3、进入ollama容器内部
docker exec -it ollama /bin/bash4、运行llama3 模型服务
ollama run llama3模型文件会自动下载；
问题1：你是谁？
问题2：你会做什么？使用中文回答
三、llama3 大模型的使用教程
1、curl命令行调用方式
浏览器访问：ip:11434；可以看到显示ollama服务器正在运行；
利用curl的方式调用llama3大模型
curl http://localhost:11434/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "llama3","messages": [{"role": "system","content": "You are a helpful assistant."},{"role": "user","content": "Hello!"}]}'
2、 python 代码调用llama3大模型
url="http://ip:11434/v1/chat/completions"
完整代码如下：
#!/usr/bin/env python# -*- coding: UTF-8 -*-"""@File ：ollama_function.py@Author ：aixiaoxin@Dateimport requestsdef request_chatgpt_function():url="http://ip:11434/v1/chat/completions" #ip为你部署的ipOPENAI_API_KEY="sk-xxxxx" # 不需要修改header={"Content-Type": "application/json","Authorization": "Bearer " +OPENAI_API_KEY}data={"model": "llama3","messages": [{"role": "system","content": "You are a helpful assistant."},{"role": "user","content": "你是谁？请用中文回答"}],"temperature":0,"stream":False}response=requests.post(url=url,headers=header,json=data).json()print(response)return responseif __name__ == "__main__":request_chatgpt_function() # 利用request请求调用
运行截图：
更多调用chatgpt的方式，可以参考下面的文章：
以上就是今天的所有内容了！
参考文献：
ollama的docker部署教程：https://hub.docker.com/r/ollama/ollama13k+star的LLM接口管理系统one-api的部署教程
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？
2024-08-15
对话AI教育从业者们：AI如何解决因材施教的难题？
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及：NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26
2024-09-23
2024-09-22
2024-09-22
2024-09-22
2024-09-21
2024-09-21
2024-09-20
2024-09-20
回到顶部