微信扫码
与创始人交个朋友
1. 安装Ollama
Ollama官网:https://ollama.com/
在Linux下,终端执行以下命令
curl -fsSL https://ollama.com/install.sh | sh
2. 运行大模型
本地运行 llama3.1:8b 模型,在终端中运行,首次运行会自动拉取模型文件,8b模型大概4G-5G,需要稍微等待一下。
ollama run llama3.1:8b
1. 首先安装Docker,此篇就不详细说明了,不懂的同学可以参考我过去的文章,里面有详细的安装方法。
2. Docker拉取AnythingLLM镜像,打开终端运行
docker pull mintplexlabs/anythingllm
3. 下面的命令将在本地挂载存储并在 Docker 中运行 AnythingLLM,可以全部一次性复制到终端中运行。
export STORAGE_LOCATION=$HOME/anythingllm && \ mkdir -p $STORAGE_LOCATION && \ touch "$STORAGE_LOCATION/.env" && \ docker run -d -p 3001:3001 \ --cap-add SYS_ADMIN \ -v ${STORAGE_LOCATION}:/app/server/storage \ -v ${STORAGE_LOCATION}/.env:/app/server/.env \ -e STORAGE_DIR="/app/server/storage" \ mintplexlabs/anythingllm
4. 运行AnythingLLM
(1)先检查 Ollama是否正常运行,只有 Ollama正常运行后,AnythingLLM才能正确配置和运行大模型。打开浏览器,地址栏输入:http://localhost:11434
可以看到 “Ollama is running” 。
(2)运行AnythingLLM,打开浏览器,地址栏输入:http://localhost:3001,如安装无误,可以看到以下页面。
docker ps
1. 打开AnythingLLM页面:http://localhost:3001 ,点击“Get started” 开始配置
2. 选择大模型类型,这里选 “Ollama”
3. Data handling & privacy , 这里列出了RAG过程中所选择的模型。
4. 输入电邮和使用原因
5. 建立工作空间,输入工作空间的名称: anything_ollama
6. 建立工作空间完成
7. 本地大模型配置
这里注意Ollama Base URL ,如果Ollama部署在本地电脑,官网提供几种地址方式:
8. 正确配置后,回到工作空间问答页,就可以正常对话了
9. 为了提升大模型回答问题的质量和准确性,我们通过RAG的方式,加入本地知识库。点击工作空间旁的上传按钮,打开文档上传页。
(1)选择本地文档上传到AnythingLLM。我们用几篇stm32单片机开发的资料,做RAG处理。
(2)选择文档加入到工作空间。
10. 测试本地知识库的效果
而没有这些知识库,llama3.1:8b大模型回答的效果如下。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-16
多图理解,更懂中文,支持function call的Phi-3.5来了!
2024-09-16
自建AI编程助手 | 本地 Yi-Coder模型 + Cursor 5分钟写一个网页
2024-09-16
免费还超快,我用 Cursor 做的“汉语新解”插件开源了
2024-09-15
通用端到端OCR模型开源,拒绝多模态大模型降维打击
2024-09-14
Pixtral 12B:本地部署、图像分析和OCR功能全解析
2024-09-14
疯狂24h后,openai o1有哪些新的秘密?
2024-09-14
OpenAI的o1模型会带来哪些影响和机会?
2024-09-14
一文彻底搞懂大模型 - 开源数据标注平台Label Studio
2024-08-13
2024-05-06
2024-06-12
2023-07-01
2024-07-08
2024-07-25
2024-07-11
2024-07-25
2024-07-18
2024-06-16