AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


如何让本地大模型用起来更舒服
发布日期:2024-05-25 10:18:19 浏览次数: 1898 来源:灵境Metaverse


我是小夜刀,一个疯狂的AI探险家,专注于分享生成式AI技术。精通大模型部署/微调/训练,构建企业知识库。

今天分享如何在个人电脑上部署一个比chatgpt交互界面更炫酷且实用的本地大模型,自带AI智能体和丰富插件库,支持文字、语音、图片的多模态交互。

如部署过程有疑问,可以从公众号主页添加我或进技术群交流。



理想的本地AI大模型是什么样

如果一个本地大模型,拥有以下强大功能,而且不需要任何费用,你会心动吗?

重点:一个比GPT3.5还好用的本地AI。



01

AI神组合LobeChat+Ollama



1.插件库

LobeChat的插件生态系统是其核心功能的关键扩展,这些插件不仅限于新闻聚合,还能扩展到其他实用功能,如快速检索文档、生成图片、获取 Bilibili 和 Steam 等平台的数据,并与各种第三方服务进行交互。


2.智能体助手

LobeChat的助手市场,创作者们会发现一个充满活力和创新的社区。这里汇集了众多精心设计的AI助手。


3.支持模型服务商

LobeChat 支持的模型包括:

GPT3.5,GPT4.0,Claude3, LLama3,Gemini Pro,智谱ChatGLM,Moonshot AI (月之暗面),零一万物,Groq,OpenRouter,Cohere,DeepSeek等。

LobeChat 还基于 Ollama 支持了本地模型的使用,让用户能更灵活地使用第三方的模型。


4.模型视觉识别

LobeChat 兼容多种具有视觉识别能力的大语言模型,包括 OpenAI 的 GPT-4-Vision、Google Gemini Pro Vision 和 智谱 GLM-4 Vision。这赋予了 LobeChat 多模态交互的功能。只需简单地上传或拖拽图片到对话框,AI即可识别并分析图片内容,打造更加智能和多样化的聊天体验。


5.语音会话TTS & STT

LobeChat 支持文字转语音(Text-to-Speech,TTS)和语音转文字(Speech-to-Text,STT)技术,使文本信息能够转化为清晰的语音输出,让用户像与真人对话一样与我们的对话助手进行交流。用户可以选择一系列高品质的声音选项(如 OpenAI Audio 和 Microsoft Edge Speech),以满足不同地域和文化背景用户的需求。


6.文生图

支持最新的文本到图片生成技术,可以直接调用DALL-E 3、MidJourney 和 Pollinations 等 AI 工具进行创作。


////



02

如何部署LobeChat

使用本地大模型Ollama


可查看详细视频教程


1.安装Ollama

Ollama是本地跑大模型最好用的工具,支持几乎所有开源大模型如Llama3和通义千问等,也可以接入类OpenAI的API部署,重要一点是它支持远程访问,也就是说你可以把微调好的大模型分享给用户远程使用。

1.1 Ollama下载

地址:ollama.com

首先下载Ollama,Windows和苹果都有。


1.2 Ollama安装

下载完成后点击安装,一路畅通,安装很简单。


1.3 下载大模型

Ollama 非常好用,一条命令(ollama run "模型名称",比如ollama run llama3)就可以调出所需大模型,等待它下载,下载速度很快,完成后,就可以在终端和大模型对话了。


2.安装Docker

Docker 是一个开源容器平台,专为开发、部署和运行应用程序而设计。Docker 提供了一种轻量级的虚拟化方式,使得应用程序能够快速部署且易于管理

Docker 的优势包括:

1.*快速启动*:Docker 容器可以在几秒钟内启动,显著提升了开发和部署的效率。

2.*环境一致*:确保应用程序在开发、测试和生产环境中都能保持一致的运行状态。

3.*跨平台可移植性*:容器可以在任何支持 Docker 的系统上运行,实现真正的跨平台操作。

4.*扩展性强*:Docker 能轻松实现扩展,特别适用于微服务架构的部署。


2.1 Docker下载地址

docker.com/products/docker-desktop/


2.2 Docker安装

一键安装docker,全选下一步。

安装成功后docker的 UI 界面,如下:

验证docker是否安装好,运行下面命令:

docker run hello-world

查看返回消息即可。


3.部署 lobechat

通过docker部署,及其简单,只需要两行命令。


3.1.拉取镜像

从DockerHub拉取lobehub/lobe-chat镜像。

docker pull lobehub/lobe-chat:latest 


3.2.运行Docker

运行lobe-chat的Docker容器,设置参数。

docker run-d --name lobe-chat-p

10084:3210-e ACCESS_CODE=lobe66

lobehub/lobe-chat:latest 


安装部署完成,打开docker界面就会看到本地网址.


3.3 运行LobeChat

打开地址就可以畅玩高颜值的聊天界面了。


3.4 设置LobeChat

LobeChat设置界面,支持如GPT等主流模型API接入,支持本地部署大模型,包括Ollama,修改高颜值交互界面主题,强大的图像识别,语音交互,文生图等功能,插件库和个人助手集。




03

LobeChat还有很多秘密

等着我们探索


关注我,一起探索LobeChat更深层的玩法,打造属于自己的完美本地大模型。


备注:如果你需要文档资料,公众号回复“本地大模型”获取



////

与我同行,共享AI红利




53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询