我要投稿

还不会部署本地AI大模型？LangChat带你快速接入并部署本地大模型

发布日期：2024-08-24 22:40:09 浏览次数： 1664 来源：程序员涂陌

LangChat是Java生态下企业级AIGC项目解决方案，在RBAC权限体系的基础上，集成AIGC大模型功能，帮助企业快速定制知识库、企业机器人。

产品官网：http://langchat.cn/
LangChat源码：https://github.com/tycoding/langchat

还不会部署本地AI大模型？使用LangChat带你快速部署并接入本地Ollama AI大模型。

配置Ollama

Ollama是一种本地模型部署方案，Ollama简化了模型的部署方式，通过官方一行命令即可在本地下载并启动一个模型。重点：有很多不需要GPU的模型

Ollama的官网：https://ollama.com/library

例如我们想要在本地部署最新的Llama3.1模型：

首先需要安装Ollama官方客户端，然后直接执行命令：

ollama run llama3.1

默认会下载最小的模型，越大的模型对电脑配置要求越高，最小的模型一般不需要GPU也可运行（我使用的16/512 Mac book pro测试）。

下载完成后会直接运行模型，如下，非常简单，我们可以直接通过命令行对话模型：

配置Ollama

启动完成后，Ollama默认会暴露一个http端口：http://127.0.0.1:11434 。也就是我们最终会使用http://127.0.0.1:11434/api/chat 接口和Ollama模型聊天。

首先我们需要在LangChat模型管理页面配置Ollama模型信息，这里的BaseUrl必须填写上述地址，然后【模型】填写你运行的模型名称即可：

测试效果如下，在LangChat的聊天助手页面的右上角选择刚刚配置的Ollama模型即可快速使用。（注意：最终的效果完全取决于模型的能力，和模型的参数大小有关，想要更好的效果、更快的响应速度就必须配置更高参数的列表，也就必须使用显存更高的机器）

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？

2024-08-18

一篇文章搞懂大模型应用框架：LangChain

2024-04-08

LangChain：如何高效管理 LLM 聊天历史记录？

2024-06-03

LlamaIndex对比LangChain，大模型框架孰优孰劣

2024-04-17

轻松上手的LangChain学习说明书

2024-04-08

优雅谈大模型：LangChain Vs. LlamaIndex

2024-06-24

LangChain 与 ollama 携手python 环境演示 Hello World 构建属于自己的大模型应用

2024-04-12

大模型开发 - 一文搞懂 LangChain（五）：Chains

2024-04-10

轻松上手的LangChain学习说明书

2024-04-11

为什么很多人都放弃LangChain了？

2024-07-01

大家都在问

LangGraph、LangChain、LangFlow、LangSmith：使用哪一个以及为什么？

2024-10-30

如何LLM Agent框架之间进行选择？

2024-10-11

当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？

2024-08-18

LangChain全新Agent可视化工作流！你不能错过的LangChain科普！与LlamaIndex差别在哪儿？咱都要学吗？

2024-08-16

Langchain发布官方Agent IDE，不同于Dify/Coze的设计理念，能否获得开发者认可？

2024-08-04

LangGraph，知多少？

2024-07-29

简单了解LangChain是什么?为什么需要它?

2024-07-28

智能体革新：AutoGen如何引领下一代LLM应用开发？

2024-07-27

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

配置Ollama

配置Ollama

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？

一篇文章搞懂大模型应用框架：LangChain

LangChain：如何高效管理 LLM 聊天历史记录？

LlamaIndex对比LangChain，大模型框架孰优孰劣

轻松上手的LangChain学习说明书

优雅谈大模型：LangChain Vs. LlamaIndex

LangChain 与 ollama 携手python 环境演示 Hello World 构建属于自己的大模型应用

大模型开发 - 一文搞懂 LangChain（五）：Chains

轻松上手的LangChain学习说明书

为什么很多人都放弃LangChain了？

大家都在问

LangGraph、LangChain、LangFlow、LangSmith：使用哪一个以及为什么？

如何LLM Agent框架之间进行选择？

当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？

LangChain全新Agent可视化工作流！你不能错过的LangChain科普！与LlamaIndex差别在哪儿？咱都要学吗？

Langchain发布官方Agent IDE，不同于Dify/Coze的设计理念，能否获得开发者认可？

LangGraph，知多少？

简单了解LangChain是什么?为什么需要它?

智能体革新：AutoGen如何引领下一代LLM应用开发？

热门标签