AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


手把手教你轻松本地部署Llama3,个人电脑也能极速运行
发布日期:2024-04-26 18:11:49 浏览次数: 2252 来源:斜杠君


大家好,我是斜杠君。今天手把手教大家如何在本地部署Llama3,打造一个属于自己的本地大模型助手。



在教大家部署Llama3之前,先要带大家了解一个概念:Ollama


Ollama是什么?


Ollama是一个用于在本地计算机上运行大型语言模型(LLMs)的命令行工具。它允许用户下载并本地运行像Llama 3、Code Llama等模型,并支持自定义和创建自己的模型。


Ollama是免费开源的项目,支持macOS和Linux操作系统和Windows系统。它还提供了官方的Docker镜像,使用户可以通过Docker容器部署大型语言模型,确保所有与模型的交互都在本地进行,无需将私有数据发送到第三方服务。


安装


理解了Ollama是什么之后,让我们到官网下载Ollama程序吧~


官网下载页面:https://ollama.com/download


因为我的电脑是windows, 所以这里我下载Windows这个版本。


下载好了,程序大小一共是212M。



下载好后,双击点开始安装:



默认安装到C盘。PS:很奇怪为什么没给个自定义安装目录的选项 :(



安装完成后,Win+R键调出运行窗口:



在窗口中键入cmd调出控制台,在控制台中运行命令:ollama run llama3



这时就开始下载模型了。



等待一会儿,安装完成。



下载的文件在下面这个目录:



测试


先测试一下,回答怎么样?



再来测试一下中文。



测试结果回答逻辑是没什么问题的,速度也很快。


好了,使用Ollama在本地部署llama3的教程就为大家教到这里,大家快动手试试,部署个属于自己的本地大模型助手吧!


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询