AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


使用Ollama本地离线运行大模型
发布日期:2024-08-20 05:30:09 浏览次数: 1759


Ollama介绍

用于启动并运行大型语言模型。

GitHub地址:https://github.com/ollama/ollama

官方网站:https://ollama.com/

实践

根据README的指引,安装对应系统的Ollama。

由于我的电脑比较旧了,配置如下:

所以就选择一个参数小一点的大模型,我选择的是phi3 3.8b的版本。

在控制台输入:

ollama run phi3:latest

即可。

没下载这个模型会自动下载,下载好了就可以开始对话。

对于开发者而言,还可以通过Ollama提供的接口来接入自己的应用:

3.8b参数的大模型在我这台电脑上就已经跑的很慢了,尝鲜是可以的,真要使用如果没有离线的需求并且没有显卡还是使用云平台比较好,现在也有很多免费的模型使用了,而且收费的话个人使用也花不了多少钱。如果有显卡资源并且有离线使用的需求,可以考虑使用Ollama本地离线运行大模型。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询