我要投稿

本地跑大模型，需要什么配置

发布日期：2024-04-08 12:06:39 浏览次数： 4019 来源：newtype 超级个体

在自己的电脑上跑大模型，到底需要多高的配置？

很多小伙伴私信问我这个问题。本期视频我就统一给大家一个答案。不过在此之前，有个问题先得回答一下：

ChatGPT用得好好的，为什么要在本地电脑上折腾这些开源大模型或者开源项目？

很简单，三个原因：

第一、运行更稳，速度更快，还不花钱。

过去一年，订阅ChatGPT Plus，以及使用API的费用加在一起，我应该给OpenAI贡献了大几百美金。但是，我对他们的服务器是非常不满意的，经常掉链子。

开始我还以为是我的代码有问题，或者是我网络有问题。后来我换个时间段测试，居然跑通了。其实就是全球用户涌入，服务器根本扛不住——这个就是云端的难题。

随着AI越来越普及，不管是哪一家巨头，他们的云端算力都不可能接得住这种规模的需求。从云端走向本地，一定是趋势。所以大家今年就会看到，越来越多的AI PC、AI手机开始上市。

因为我自己有这个趋势判断，所以才一直在视频里、在知识星球里分享端侧AI的内容。作为用户，我的实际体验是：

在自己电脑上跑大模型和AI应用，真的太舒服了。不会有服务器连不上之类的闹心事儿，速度飞起——这才是自然语言交互该有的感觉。而且，我再也不用心疼token的费用了。

第二、模型更丰富，选择更多。

像OpenAI这种巨头的思路是，造出最牛的大模型，足够通用，然后去满足各个垂直领域和场景的需求。

但是站在实用的角度，其实我们并不需要那么大的模型。比如，我就想让AI帮我写写代码，或者上网搜点资料，犯不着拿大炮打蚊子，而且还消耗那么多的能源。

开源的好处就在这里。你去Hugging Face、GitHub看看，真的是百花齐放，什么项目都有。不等那些巨头和上市公司，大家自己动手、丰衣足食。

我有一种回到互联网初期的感觉。

第三、特别自由。

我的电脑平时都挂着Ollama，前端开着AnythingLLM。想到什么了，就随时问AI。

我还储备了各种Python脚本，有需要的时候，运行一下就搞定。

本地跑开源大模型，不需要联网，但不代表它不能联网。我完全可以让它接入网络，把资料都拿回本地来处理。

我现在都是在台式机上跑大模型，感觉还不够自由。下半年，我应该会搞一台搭载英特尔最新CPU的笔记本。这种新的CPU架构里边包含了NPU，可以加速AI本地推理。我特别好奇它到底能起到多少作用。

OK，以上就是我作为一个重度用户所认为的，在本地跑大模型的好处。回到本期主题：

硬件配置。

根据用途来分的话，大概有这几种：

第一、生成图片。

比如跑Stable Diffusion。最低配置，要求16G内存和4G显存。建议你最好是有32G内存、12G显存，否则真的很难受。

第二、生成音频。

比如语音克隆、生成音乐，至少需要8G显存。理想情况下，有个24G显存就能跑比较大的模型了。

第三、生成文字。

也就是各种Chatbot。最少需要8G内存和4G显存。如果你想运行跟GPT-3.5差不多性能的开源大模型的话，最好准备32G内存和24G显存。

为了方便大家理解，我来简单总结一下：

最低配置：3060显卡，16G内存。比这个还低的话，我真就不建议你在本地跑大模型了。

理想配置：4090显卡，32G内存。我公司的PC就是这样的配置，专门给创意同事生成各种图片用的。

CPU的话，英特尔i5-12600K起步吧。

至于我每次给大家演示用的PC，我之前在知识星球里说过，都是好几年前的配置了：

CPU是i7-9700K，内存是两根8G的DDR4。

最开始是用核显，用了一段时间发现，用OBS直播不太行。实不相瞒，那时我还是B站游戏区的UP主，攒了台机子就是为了直播和剪视频。实际用起来发现，还是得上GPU推流。当时显卡特别贵，只能买得起3060。

最近为了更好地跑大模型，我又花了不到500块钱买了两根同样的内存条，把容量扩展到了32G。终于可以跑更大一个级别的模型了。

最后，告诉大家一个最直观的方法。你去下载一个LM Studio。这款软件集成度非常高，可以直接在软件内下载大模型，以及运行和对话。

在下载的时候，软件会根据你机子的配置给出建议。比如，哪些模型可以跑，哪些模型肯定没戏。这样你心里就有数了。

那到了使用阶段，你可以拖动右边这个滑块，调整GPU的参与程度。默认设置的话，更多依赖内存，跑起来有点慢。如果把滑块拉到头，把GPU全用起来，速度快了非常多。所以英伟达赚那么多钱，真的是人家的本事，没什么好说的。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

一文带你了解大模型——智能体（Agent）

2024-05-28

更改ollama模型存储路径

2024-04-25

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

全面对比dify、coze、streamlit、chainlit

2024-04-26

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

大家都在问

如何从头建立一个通用AI智能体应用？

2024-12-22

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

o3比o1强在哪里？

2024-12-21

OpenAI 铺垫了12天发布的 o3 到底咋样？

2024-12-21

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

2024-12-21

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

Nvidia 的 CUDA 护城河到底有多深？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

更改ollama模型存储路径

最强 GPT 免费使用！GPT4O 开启多模态新时代！

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

本地部署大模型？看这篇就够了，Ollama 部署和实战

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

更改ollama模型存储路径

最强 GPT 免费使用！GPT4O 开启多模态新时代！

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

本地部署大模型？看这篇就够了，Ollama 部署和实战

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示