AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Ollama私有化模型部署实战
发布日期:2024-07-09 21:20:13 浏览次数: 2147


1.Ollama是什么

     Ollama是一个支持私有化大模型的安装和部署的开源项目,部署建议最少配置运行7B模型最少8G内存运行13B模型最少16G内存运行33B模型最少32G内存,支持多个开源模型包括Llama 3,Gemma 2,Code Llama等

2.Ollma部署实战

2.1.Ollama服务下载

    下载命令如下:

curl -fsSL https://ollama.com/install.sh | sh

2.2.ollama服务启动

ollama serve

2.3.llama3服务运行

ollama run llama3

2.4 交互式问题测试

   问题1.天为什么是蓝色的

   问题2.如何保持健康

3.总结

    Ollama能够帮助我们进行快速进行开源大模型的私有化部署支持交互式的问答,让我们快速体验开源大模型的效果大模型的部署不再受显卡大小的限制只要有足够的内存,普通的电脑也可以部署大大降低普通人使用开源大模型的门槛。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询