微信扫码
与创始人交个朋友
我要投稿
我用得很节省。。。不过我的OpenAI Key马上过期了 :(
这里教大家如何在本地部署Ollama大语言模型,强烈建议大家使用Docker方式启动,这样你随时可,因为我听说Ollama的守护进程会一直占用你的机器资源
闲言少叙,Docker运行环境所用的工具,强烈安利OrbStack...
因为...OrbStack更快、更好
Ollama(Docker Hub)
https://hub.docker.com/r/ollama/ollama
在命令行窗口执行命令
1
docker pull ollama/ollama
效果如下:
回到我们的OrbStack应用里就会存在一个镜像,就是它了(Unused) !
接下来在命令行窗口 继续执行如下命令
1
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
效果如下:
回到我们的OrbStack,看ollama已经成功启动
下载Llama3(目前最新的大语言模型) 顺便介绍下Llama3的性能情况
言归正传,安装Llama3 Model的命令如下:
1
docker exec -it ollama ollama run llama3
效果如下:
这样Llama 3 本地大语言模型就安装好了:)
我们用LangChain调用它测试一下~
程序
1
2
3
4
5
from langchain_community.llms.ollama import Ollama
llm = Ollama(model="llama3",temperature=0)
res = llm.invoke("你是一名软件工程专家,请您回答一下什么是软件测试?请用中文回答。")
print(res)
输出结果
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
?
软件测试(Software Testing)是指对软件系统或组件进行的一系列检查和验证,以确保其满足需求、正确运行、可靠性和性能等方面的要求。测试旨在发现软件中的错误、缺陷和不一致,从而提高软件的质量和可靠性。
软件测试可以分为多种类型,包括:
1. 单元测试(Unit Testing):对单个模块或函数进行测试。
2. 集成测试(Integration Testing):对多个模块或组件之间的交互关系进行测试。
3. 系统测试(System Testing):对整个软件系统或应用程序进行测试。
4. Acceptance Testing:对软件是否满足用户需求和期望进行测试。
5. Regression Testing:对软件中的更改或修改进行回归测试,以确保没有引入新的错误。
软件测试的目的是:
1. 发现错误和缺陷,提高软件的可靠性和质量。
2. 验证软件是否满足用户需求和期望。
3. 确保软件在不同环境和条件下能够正确运行。
4. 提高软件的稳定性和可维护性。
总之,软件测试是软件开发过程中的一个重要环节,可以帮助开发者发现错误、提高软件质量和可靠性。
程序
1
2
3
4
5
from langchain.chat_models.ollama import ChatOllama
chat = ChatOllama(model="llama3",temperature=0)
res = chat.invoke("你是一名软件工程专家,请您回答一下什么是软件测试?请用中文回答。")
print(res)
输出结果
1
content='?\n\n软件测试(Software Testing)是指对软件系统或组件进行的一系列检查和验证,以确保其满足需求、正确运行、可靠性和性能等方面的要求。测试旨在发现软件中的错误、缺陷和不一致,从而提高软件的质量和可靠性。\n\n软件测试可以分为多种类型,包括:\n\n1. 单元测试(Unit Testing):对单个模块或函数进行测试。\n2. 集成测试(Integration Testing):对多个模块或组件之间的交互关系进行测试。\n3. 系统测试(System Testing):对整个软件系统或应用程序进行测试。\n4. Acceptance Testing:对软件是否满足用户需求和期望进行测试。\n5. Regression Testing:对软件中的更改或修改进行回归测试,以确保没有引入新的错误。\n\n软件测试的目的是:\n\n1. 发现错误和缺陷,提高软件的可靠性和质量。\n2. 验证软件是否满足用户需求和期望。\n3. 确保软件在不同环境和条件下能够正确运行。\n4. 提高软件的稳定性和可维护性。\n\n总之,软件测试是软件开发过程中的一个重要环节,可以帮助开发者发现错误、提高软件质量和可靠性。' response_metadata={'model': 'llama3', 'created_at': '2024-04-22T17:41:44.901209344Z', 'message': {'role': 'assistant', 'content': ''}, 'done': True, 'total_duration': 22143976927, 'load_duration': 927935, 'prompt_eval_duration': 112404000, 'eval_count': 289, 'eval_duration': 21899433000} id='run-a2fa9ccb-77aa-470e-956b-f50dfdd679d7-0'
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-03-30
2024-04-26
2024-05-10
2024-05-28
2024-04-12
2024-04-25
2024-05-14
2024-07-18
2024-08-13
2024-04-26