我要投稿

还不会部署本地AI大模型？LangChat带你快速接入并部署本地大模型

发布日期：2024-08-24 22:40:09 浏览次数： 1919 作者：程序员涂陌

LangChat是Java生态下企业级AIGC项目解决方案，在RBAC权限体系的基础上，集成AIGC大模型功能，帮助企业快速定制知识库、企业机器人。

产品官网：http://langchat.cn/
LangChat源码：https://github.com/tycoding/langchat

还不会部署本地AI大模型？使用LangChat带你快速部署并接入本地Ollama AI大模型。

配置Ollama

Ollama是一种本地模型部署方案，Ollama简化了模型的部署方式，通过官方一行命令即可在本地下载并启动一个模型。重点：有很多不需要GPU的模型

Ollama的官网：https://ollama.com/library

例如我们想要在本地部署最新的Llama3.1模型：

首先需要安装Ollama官方客户端，然后直接执行命令：

ollama run llama3.1

默认会下载最小的模型，越大的模型对电脑配置要求越高，最小的模型一般不需要GPU也可运行（我使用的16/512 Mac book pro测试）。

下载完成后会直接运行模型，如下，非常简单，我们可以直接通过命令行对话模型：

配置Ollama

启动完成后，Ollama默认会暴露一个http端口：http://127.0.0.1:11434 。也就是我们最终会使用http://127.0.0.1:11434/api/chat 接口和Ollama模型聊天。

首先我们需要在LangChat模型管理页面配置Ollama模型信息，这里的BaseUrl必须填写上述地址，然后【模型】填写你运行的模型名称即可：

测试效果如下，在LangChat的聊天助手页面的右上角选择刚刚配置的Ollama模型即可快速使用。（注意：最终的效果完全取决于模型的能力，和模型的参数大小有关，想要更好的效果、更快的响应速度就必须配置更高参数的列表，也就必须使用显存更高的机器）

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-04-13

LangChain + 模型上下文协议（MCP）：AI 智能体 Demo

2025-04-10

源码速读 | MaxKB源码QA问答对优化逻辑速读

2025-04-09

AI Agents框架选择指南：仿佛在玩初创公司模拟经营游戏

2025-04-08

LangChain 智能体：使用自定义工具

2025-04-06

LangChain最新指南：高效构建AI应用的全流程解析

2025-04-04

ChatBlog - 个人博客AI互动的尝试

2025-04-03

Langchain与LlamaIndex应该选哪个

2025-04-01

langchain4j+Chroma小试牛刀

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

AI Agent、低代码、模块化AI开发工具Top级选手深度对比，Dify vs LangChain！一文搞清二者差异与如何选择

2024-10-10

大模型和Agent用两行代码实现Excel/CSV文件数据分析

2024-07-13

一篇文章搞懂大模型应用框架：LangChain

2024-04-08

LangChain：如何高效管理 LLM 聊天历史记录？

2024-06-03

字节的Coze是什么

2024-09-04

当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？

2024-08-18

轻松上手的LangChain学习说明书

2024-04-08

轻松上手的LangChain学习说明书

2024-03-28

优雅谈大模型：LangChain Vs. LlamaIndex

2024-06-24

深度｜AI Agent 开源和创业项目大盘点，Agent 基础设施正在崛起

2024-07-10

大家都在问

深度｜LangChain创始人：MCP是“昙花一现”还是未来标准？

2025-03-22

扣子飞书插件“写入飞书”和“读取飞书”到底怎么用？

2025-03-22

让AI真正落地，LangFlow、Dify与Coze要怎样选择呢？

2025-03-15

揭秘LangGraph！如何一步一步构建动态订单管理系统？

2025-02-05

Agent 智能体开发框架如何优雅选型？

2024-12-02

AI Agents 现状报告，未来可期 or 强弩之末？

2024-11-25

LangGraph、LangChain、LangFlow、LangSmith：使用哪一个以及为什么？

2024-10-30

如何LLM Agent框架之间进行选择？

2024-10-11

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB