粤ICP备17114055号
微信扫码
添加专属顾问
支持私有云部署
我要投稿
LangChat是Java生态下企业级AIGC项目解决方案，在RBAC权限体系的基础上，集成AIGC大模型功能，帮助企业快速定制知识库、企业机器人。
还不会部署本地AI大模型？使用LangChat带你快速部署并接入本地Ollama AI大模型。
Ollama是一种本地模型部署方案，Ollama简化了模型的部署方式，通过官方一行命令即可在本地下载并启动一个模型。重点：有很多不需要GPU的模型
Ollama的官网：https://ollama.com/library
例如我们想要在本地部署最新的Llama3.1模型：
首先需要安装Ollama官方客户端，然后直接执行命令：
ollama run llama3.1
默认会下载最小的模型，越大的模型对电脑配置要求越高，最小的模型一般不需要GPU也可运行（我使用的16/512 Mac book pro测试）。
下载完成后会直接运行模型，如下，非常简单，我们可以直接通过命令行对话模型：
启动完成后，Ollama默认会暴露一个http端口：http://127.0.0.1:11434 。也就是我们最终会使用http://127.0.0.1:11434/api/chat 接口和Ollama模型聊天。
首先我们需要在LangChat模型管理页面配置Ollama模型信息，这里的BaseUrl必须填写上述地址，然后【模型】填写你运行的模型名称即可：
测试效果如下，在LangChat的聊天助手页面的右上角选择刚刚配置的Ollama模型即可快速使用。（注意：最终的效果完全取决于模型的能力，和模型的参数大小有关，想要更好的效果、更快的响应速度就必须配置更高参数的列表，也就必须使用显存更高的机器）
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-03-11
LangChainGo中的提示词工程（Prompt Engineering）
2025-03-11
LangChain实战 | ParentDocumentRetriever 优化长文档的向量搜索质量
2025-03-10
手把手教你用LangChain自动写SQL做数据分析可视化
2025-03-05
Agent 最全 Playbook：场景、记忆和交互创新
2025-03-05
基于LangGraph的智能文章生成Agent架构设计思路
2025-03-02
LangGraph全新4大预构建Agents框架登场
2025-03-01
极简LangChain智能体开发入门指南
2025-03-01
释放 Langflow 的力量：使用 Rag 构建多工具代理
2024-10-10
2024-04-08
2024-07-13
2024-06-03
2024-09-04
2024-08-18
2024-04-08
2024-06-24
2024-07-10
2024-03-28
2025-02-05
2024-12-02
2024-11-25
2024-10-30
2024-10-11
2024-08-18
2024-08-16
2024-08-04
回到顶部