AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


教程 |终于,我在本地跑起了开源的 AI 模型
发布日期:2024-05-30 04:11:49 浏览次数: 2152



01

就像西方不能没有耶路撒冷一样,我们也不能没有开源的 AI 模型。只要这个开源的小模型是免费的、够好用、够小,它就是个好模型。

没错,就是 Llama3,相信大家都很熟悉了,羊驼家族的明星。https://ollama.com/library/llama3

首先我们需要进入Llama3的官方网站,下载一个软件,可以简单理解为启动器,看见这个可爱的羊驼,点击右上角的下载即可:

下载好后直接双击安装即可。

安装完毕后,点击运行弹窗,来到当前这个界面:

如果不小心退出了,可以通过 Win + R,输入 cmd ,打开终端。

输入 ollama -v 即可查看版本

ollama version is 0.1.39

没问题之后,可以先输入指令查看本地的模型(此时还没有安装,输出列表为空的),指令:ollama list

NAME    ID      SIZE    MODIFIED

02

ok,此时一切正常,接下来我们准备安装 Llama3 8B 版本了,现在非常的方便,也只需要输入一行指令,即可自动安装。

我们可以在官网查看指令,选中 8B,右边的内容复制一下,再回到刚刚的界面粘贴回车就可以了,当然,我们后续如果想安装 70B 的版本,也只需要左边选中 70B 即可。

ollama run llama3:8b

好,接下来就是等待安装的过程。

另外,8B 和 70B,就是当初训练 AI 时候参数的不同,8B 是 80 亿参数,70B 是 700 亿参数,顺带一提,chatGPT3.5 的参数是175B

简单来说,参数越多,模型就越复杂,能够处理的信息也就越多。

可以类比成大脑的神经元数量,参数越多,模型的“智能”就越高。

03

经过一段时间的等待,此时终于下载好了,可能我本地网速太慢,下载了足足半个小时。

接下来我们直接在终端输入问题,就可以进行问答了!

当然,目前 Llama3 8B,只是最基础的一个小模型,很多好用的功能都没有实现,比如联网搜索,比如调用计算器等等。

当然,没关系,此时此刻,万里长征已经走出了第一步,胜利就在前方。

至此,夜已深,更多评测只好等待明天了。

我心中还有一百套玩法等着测试呢。

04

我是想象力AI,写过很多个有意思的自动化机器人,有小红书自动发图、抖音自动涨粉、和微信自动加好友拉群等等。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询