微信扫码
与创始人交个朋友
我要投稿
我是小夜刀,一个疯狂的AI探险家,专注于分享生成式AI技术。精通大模型部署/微调/训练,构建企业知识库。
今天分享如何在个人电脑上部署一个比chatgpt交互界面更炫酷且实用的本地大模型,自带AI智能体和丰富插件库,支持文字、语音、图片的多模态交互。
如部署过程有疑问,可以从公众号主页添加我或进技术群交流。
理想的本地AI大模型是什么样
如果一个本地大模型,拥有以下强大功能,而且不需要任何费用,你会心动吗?
重点:一个比GPT3.5还好用的本地AI。
01
AI神组合LobeChat+Ollama
1.插件库
LobeChat的插件生态系统是其核心功能的关键扩展,这些插件不仅限于新闻聚合,还能扩展到其他实用功能,如快速检索文档、生成图片、获取 Bilibili 和 Steam 等平台的数据,并与各种第三方服务进行交互。
2.智能体助手
LobeChat的助手市场,创作者们会发现一个充满活力和创新的社区。这里汇集了众多精心设计的AI助手。
3.支持多模型服务商
LobeChat 支持的模型包括:
GPT3.5,GPT4.0,Claude3, LLama3,Gemini Pro,智谱ChatGLM,Moonshot AI (月之暗面),零一万物,Groq,OpenRouter,Cohere,DeepSeek等。
LobeChat 还基于 Ollama 支持了本地模型的使用,让用户能更灵活地使用第三方的模型。
4.模型视觉识别
LobeChat 兼容多种具有视觉识别能力的大语言模型,包括 OpenAI 的 GPT-4-Vision、Google Gemini Pro Vision 和 智谱 GLM-4 Vision。这赋予了 LobeChat 多模态交互的功能。只需简单地上传或拖拽图片到对话框,AI即可识别并分析图片内容,打造更加智能和多样化的聊天体验。
5.语音会话TTS & STT
LobeChat 支持文字转语音(Text-to-Speech,TTS)和语音转文字(Speech-to-Text,STT)技术,使文本信息能够转化为清晰的语音输出,让用户像与真人对话一样与我们的对话助手进行交流。用户可以选择一系列高品质的声音选项(如 OpenAI Audio 和 Microsoft Edge Speech),以满足不同地域和文化背景用户的需求。
6.文生图
支持最新的文本到图片生成技术,可以直接调用DALL-E 3、MidJourney 和 Pollinations 等 AI 工具进行创作。
////
02
如何部署LobeChat
使用本地大模型Ollama
可查看详细视频教程
1.安装Ollama
Ollama是本地跑大模型最好用的工具,支持几乎所有开源大模型如Llama3和通义千问等,也可以接入类OpenAI的API部署,重要一点是它支持远程访问,也就是说你可以把微调好的大模型分享给用户远程使用。
1.1 Ollama下载
地址:ollama.com
首先下载Ollama,Windows和苹果都有。
1.2 Ollama安装
下载完成后点击安装,一路畅通,安装很简单。
1.3 下载大模型
Ollama 非常好用,一条命令(ollama run "模型名称",比如ollama run llama3)就可以调出所需大模型,等待它下载,下载速度很快,完成后,就可以在终端和大模型对话了。
2.安装Docker
Docker 是一个开源容器平台,专为开发、部署和运行应用程序而设计。Docker 提供了一种轻量级的虚拟化方式,使得应用程序能够快速部署且易于管理。
Docker 的优势包括:
1.*快速启动*:Docker 容器可以在几秒钟内启动,显著提升了开发和部署的效率。
2.*环境一致*:确保应用程序在开发、测试和生产环境中都能保持一致的运行状态。
3.*跨平台可移植性*:容器可以在任何支持 Docker 的系统上运行,实现真正的跨平台操作。
4.*扩展性强*:Docker 能轻松实现扩展,特别适用于微服务架构的部署。
2.1 Docker下载地址:
docker.com/products/docker-desktop/
2.2 Docker安装:
一键安装docker,全选下一步。
安装成功后docker的 UI 界面,如下:
验证docker是否安装好,运行下面命令:
docker run hello-world
查看返回消息即可。
3.部署 lobechat
通过docker部署,及其简单,只需要两行命令。
3.1.拉取镜像
从DockerHub拉取lobehub/lobe-chat镜像。
docker pull lobehub/lobe-chat:latest
3.2.运行Docker
运行lobe-chat的Docker容器,设置参数。
docker run-d --name lobe-chat-p
10084:3210-e ACCESS_CODE=lobe66
lobehub/lobe-chat:latest
安装部署完成,打开docker界面就会看到本地网址.
3.3 运行LobeChat
打开地址就可以畅玩高颜值的聊天界面了。
3.4 设置LobeChat
LobeChat设置界面,支持如GPT等主流模型API接入,支持本地部署大模型,包括Ollama,修改高颜值交互界面主题,强大的图像识别,语音交互,文生图等功能,插件库和个人助手集。
03
LobeChat还有很多秘密
等着我们探索
关注我,一起探索LobeChat更深层的玩法,打造属于自己的完美本地大模型。
备注:如果你需要文档资料,公众号回复“本地大模型”获取。
////
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-03-30
2024-04-26
2024-05-10
2024-05-28
2024-04-12
2024-04-25
2024-05-14
2024-07-18
2024-08-13
2024-04-26