AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


苹果Mac用户的福音:本地运行Meta Llama 3的终极指南
发布日期:2024-04-27 10:15:20 浏览次数: 4811 来源:二师兄talks


如果你正在寻找一种在苹果自研芯片Mac上运行最新Meta Llama 3的简便方法,那么你找对地方了!在这篇指南中,我会指导你如何在本地运行这个强大的语言模型,让你可以利用自己电脑的资源来保护隐私和实现离线使用。本教程还将教你如何搭建一个类似ChatGPT的友好界面,全都在你的个人电脑上完成。

我会尽量简化步骤,告诉你如何在本地搭建一个带有像ChatGPT那样优美界面的运行环境。


你需要准备的工具是:Ollama

Ollama是一个专为在macOS上轻松运行Llama 3、Mistral和Gemma等大型语言模型而设计的安装工具。你可以从下载Ollama开始。想了解更多Ollama的信息,请参考他们的GitHub仓库:ollama/ollama。

在macOS上下载Ollama

安装完成后,在新的终端会话中运行以下命令,检查它是否准备就绪:

ollama -v

选择适合的模型

根据你Mac的资源情况,你可以选择运行基础版的Meta Llama 3 8B或更大型的Meta Llama 3 70B,但请注意,你需要有足够的内存来在本地运行这些大语言模型。我在一台配备64 GB RAM的M1 Max上测试了Meta Llama 3 70B,性能表现非常好。

运行Meta Llama 3 8B,只需执行以下命令:(需要4.7 GB内存)

ollama run llama3:8b

或者,运行Meta Llama 3 70B,执行以下命令:(需要40 GB内存)

ollama run llama3:70b

下载过程可能会根据你的网络速度耗时一些。


搭建用户界面

完成以上步骤后,你的本地已经准备好与用户界面交互的模型了。现在让我们来搭建用户界面并开始交互。

搭建用户界面,我们将使用OpenWebUI(https://openwebui.com/)

你需要Docker来方便地运行OpenWebUI。

执行以下命令来运行OpenWebUI:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

现在,你可以在浏览器中打开 http://localhost:3000/ 来访问界面了。

你会看到这样的屏幕:

点击注册,创建一个账号。放心,这些信息只会存储在你的本地,不会上传到网络。

登录后,你会看到一个类似于ChatGPT的熟悉界面:

现在,你可以从上方选择一个模型,开始尝试不同的大语言模型了。

凭借我们目前的设置,你的选择不仅限于Meta Llama 3,还可以轻松使用其他任何开源的大语言模型。


总结

通过完成这些设置,你的苹果自研芯片Mac现在已经变成了一个强大的中心,不仅可以运行Meta Llama 3,还可以运行几乎所有可用的开源大语言模型。希望这篇指南对你有所帮助!欢迎在评论区分享你的体验或提出问题。请继续关注,了解更多关于如何直接从你的本机利用大数据和AI工具的技巧!


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询