AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


AI菜鸟向前飞 — 本地部署大语言模型之Ollama(保姆级指北)
发布日期:2024-04-23 06:32:55 浏览次数: 2560


  

开场白

    我用得很节省。。。不过我的OpenAI Key马上过期了 :(

动手本地部署Ollama

    这里教大家如何在本地部署Ollama大语言模型,强烈建议大家使用Docker方式启动,这样你随时可,因为我听说Ollama的守护进程会一直占用你的机器资源

    闲言少叙,Docker运行环境所用的工具,强烈安利OrbStack...

    因为...OrbStack更快、更好

Ollama(Docker Hub)

https://hub.docker.com/r/ollama/ollama

在命令行窗口执行命令

  • 1

docker pull ollama/ollama

效果如下:

回到我们的OrbStack应用里就会存在一个镜像,就是它了(Unused) !

接下来在命令行窗口 继续执行如下命令

  • 1

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

效果如下:

回到我们的OrbStack,看ollama已经成功启动

下载Llama3(目前最新的大语言模型) 顺便介绍下Llama3的性能情况


言归正传,安装Llama3 Model的命令如下:

  • 1

docker exec -it ollama ollama run llama3


效果如下:



用命令行小试模型


这样Llama 3 本地大语言模型就安装好了:)

使用LangChain调用Ollama

我们用LangChain调用它测试一下~

Ollama方式

程序

  • 1

  • 2

  • 3

  • 4

  • 5

from langchain_community.llms.ollama import Ollama

llm = Ollama(model="llama3",temperature=0)
res = llm.invoke("你是一名软件工程专家,请您回答一下什么是软件测试?请用中文回答。")
print(res)

输出结果

  • 1

  • 2

  • 3

  • 4

  • 5

  • 6

  • 7

  • 8

  • 9

  • 10

  • 11

  • 12

  • 13

  • 14

  • 15

  • 16

  • 17

  • 18

  • 19

  • 20

?

软件测试(Software Testing)是指对软件系统或组件进行的一系列检查和验证,以确保其满足需求、正确运行、可靠性和性能等方面的要求。测试旨在发现软件中的错误、缺陷和不一致,从而提高软件的质量和可靠性。

软件测试可以分为多种类型,包括:

1. 单元测试(Unit Testing):对单个模块或函数进行测试。
2. 集成测试(Integration Testing):对多个模块或组件之间的交互关系进行测试。
3. 系统测试(System Testing):对整个软件系统或应用程序进行测试。
4. Acceptance Testing:对软件是否满足用户需求和期望进行测试。
5. Regression Testing:对软件中的更改或修改进行回归测试,以确保没有引入新的错误。

软件测试的目的是:

1. 发现错误和缺陷,提高软件的可靠性和质量。
2. 验证软件是否满足用户需求和期望。
3. 确保软件在不同环境和条件下能够正确运行。
4. 提高软件的稳定性和可维护性。

总之,软件测试是软件开发过程中的一个重要环节,可以帮助开发者发现错误、提高软件质量和可靠性。

ChatOllama方式

程序

  • 1

  • 2

  • 3

  • 4

  • 5

from langchain.chat_models.ollama import ChatOllama

chat = ChatOllama(model="llama3",temperature=0)
res = chat.invoke("你是一名软件工程专家,请您回答一下什么是软件测试?请用中文回答。")
print(res)

输出结果

  • 1

content='?\n\n软件测试(Software Testing)是指对软件系统或组件进行的一系列检查和验证,以确保其满足需求、正确运行、可靠性和性能等方面的要求。测试旨在发现软件中的错误、缺陷和不一致,从而提高软件的质量和可靠性。\n\n软件测试可以分为多种类型,包括:\n\n1. 单元测试(Unit Testing):对单个模块或函数进行测试。\n2. 集成测试(Integration Testing):对多个模块或组件之间的交互关系进行测试。\n3. 系统测试(System Testing):对整个软件系统或应用程序进行测试。\n4. Acceptance Testing:对软件是否满足用户需求和期望进行测试。\n5. Regression Testing:对软件中的更改或修改进行回归测试,以确保没有引入新的错误。\n\n软件测试的目的是:\n\n1. 发现错误和缺陷,提高软件的可靠性和质量。\n2. 验证软件是否满足用户需求和期望。\n3. 确保软件在不同环境和条件下能够正确运行。\n4. 提高软件的稳定性和可维护性。\n\n总之,软件测试是软件开发过程中的一个重要环节,可以帮助开发者发现错误、提高软件质量和可靠性。' response_metadata={'model': 'llama3', 'created_at': '2024-04-22T17:41:44.901209344Z', 'message': {'role': 'assistant', 'content': ''}, 'done': True, 'total_duration': 22143976927, 'load_duration': 927935, 'prompt_eval_duration': 112404000, 'eval_count': 289, 'eval_duration': 21899433000} id='run-a2fa9ccb-77aa-470e-956b-f50dfdd679d7-0'


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询