“AI 模型，最终目标只有一个，就是模仿人类的思维”

——by Ruanyf](github一名贡献者)

┃任务说明

Ollama作为个人电脑上的大模型应用，已经成为我在mac笔记本电脑和windows pc上体验开源LLM大模型的首选服务，上一篇基于第三方插件把Ollama服务集成到了开源笔记软件Obsidian中，实现了笔记内的LLM问答。但RAG在Macbook中应用时性能开销始终比较大，同时我又不想通过api接口连接大模型云服务。这次看到有人推荐网易有道团队开源的QAnything，在Github看了下评价还不错，于是决定体验一下。

#AI应用-011 QAnything：一个基于增强检索生成（RAG）的知识库管理开源项目

用途示例2：结合知识库内容给出建议和意见↑

┃QAnything 项目简介

项目介绍：QAnything是基于增强检索生成（RAG）的知识库管理开源项目，是网易有道团队开发。

项目地址：https://github.com/netease-youdao/QAnything

官方使用说明：https://github.com/netease-youdao/QAnything/blob/master/QAnything%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E.md

┃我的本机环境

OS: Macbook（MacOS） ，M2芯片

大模型环境：ollama

AI知识库开源项目：Qantying

QAnything使用的嵌入模型：BCEmbedding（包括embedding和rerank

BCEmbedding嵌入模型优点：使用了embedding和rerank两个模型，进一步增加了检索的准确性。

使用到的大语言模型（LLMs）:llama3,llama3-8b-chinese-chat-ollama-q8

部署方式：纯python环境安装，通过ollama使用本地开源模型

┃无废话0基础纯享部署步骤（但我还是希望你能看到后面我的部署体验过程）

1.自行安装Anaconda3（便于将QAnything部署在一个独享的纯净的python环境中）

2.打开mac终端窗口（推荐使用iTerm)：

3.创建一个干净的Python虚拟环境，以避免潜在冲突
终端内输入以下命令，回车：

conda create -n qanything-python python=3.10

4.步骤2执行成功后，终端内输入以下命令激活Qanything的python环境：

conda activate qanything-python

注意：如果终端设置了代理，这里是会报错的，需要在终端窗口取消代理（取消代理命令：export https_proxy=  http_proxy=  all_proxy=），没有报错请忽略。

git clone -b qanything-python https://github.com/netease-youdao/QAnything.git

6.下载完毕后，窗口切换到Qanything文件夹

cd QAnything

7.安装必要的python依赖环境（大概率需要科学上网，网速较好的情况下大概需要十分钟左右时间）

pip install -r requirements.txt

8.打开Qanything项目文件夹，找到run_for_ollama_M1_mac.sh文件，并右键选择【文本编辑】打开备用

9.另外打开一个终端窗口，输入ollama list，查看安装了哪些大模型

10.把想用的大模型拷贝拷贝出来，这里用的是“wangshenzhi/llama3-8b-chinese-chat-ollama-q8:latest”，注意“:latest”也要一并拷贝出来，复制到步骤8打开的文件中，上下文长度也一并改成8000（llama3的上下文长度为8K，llama2的上下文长度为4096）， command+s保存（也会自动保存，习惯而已）

11.一定要启动ollama服务。有两种启动方式任选其一。

一种是另开一个终端窗口，输入：

ollama serve

另一种是找到ollama桌面程序，点击启动↓：

12.返回终端窗口，启动Qanything

bash scripts/run_for_ollama_api_in_M1_mac.sh

启动成功后的进程截图↑

13.启动成功后，在浏览器输入http://127.0.0.1:8777/qanything/或者http://localhost:8777/qanything/ 访问QAnything

14.添加一个知识库，与知识库对话。(见开篇体验效果图）

#废话篇：献上我的“痛苦”体验过程，供一笑(安装部署参照上面即可，不要参考这里）

DAY1:

1.创建一个干净的Python虚拟环境，以避免潜在冲突（推荐使用Anaconda3）。

conda create -n qanything-python python=3.10conda activate qanything-python

注意：如果终端设置了代理的话，可能会以下报错（亲测?）：

ProxyError: Conda cannot proceed due to an error in your proxy configuration.Check for typos and other configuration errors in any '.netrc' file in your home directory,any environment variables ending in '_PROXY', and any other system-wide proxyconfiguration settings.

如果报错上述错误，在mac终端窗口输入取消终端代理命令：export https_proxy=  http_proxy=  all_proxy=

2.下载项目代码到本地

git clone -b qanything-python https://github.com/netease-youdao/QAnything.gitcd QAnythingpip install -r requirements.txt# 请根据使用环境选择启动脚本：bash scripts/xxx（内部调用纯python启动代码，可手动修改python启动命令）

3.安装必要的依赖环境
pip install -r requirements.txt （顺利的话，大概需要10分钟内）

注意：如果安装失败，大概率是因为网络环境，需要科学上网（亲测?）

如果要用本地的ollama大模型服务，需要打开项目文件夹，找到run_for_ollama_api_in_M1_mac.sh，按住command+c command+v复制一份

我的mac是m2芯片，重新把文件命名为run_for_ollama_api_in_M2_mac.sh
鼠标右键选择用‘文本文件’打开，编辑里面的命令，原始的命令如下：

#!/bin/bashbash scripts/base_run.sh -s "M2mac" -w 4 -m 19530 -q 8777 -o -b 'http://localhost:11434/v1' -k 'ollama' -n 'llama3' -l '4096'

在mac终端命令窗口输入ollama list，找到已经存在本地的大模型名称，选择一个你想用的大模型，替换到上面bash命令中去
修改后的

#!/bin/bashbash scripts/base_run.sh -s "M2mac" -w 4 -m 19530 -q 8777 -o -b 'http://localhost:11434/v1' -k 'ollama' -n 'wangshenzhi/llama3-8b-chinese-chat-ollama-q8' -l '4096'

在mac终端执行

bash scripts/run_for_ollama_api_in_M1_mac.sh

启动成功后显示如下：按照命令窗口提示的url在浏览器输入：http://0.0.0.0:8777/qanything/后报错改成http://127.0.0.1:8777/qanything/或者http://localhost:8777/qanything/ 即可正常访问。

上传一个pdf文件

看起来还不错，来问一下问题，不出意外出了意外，报502错误。

把mac终端窗口的日志按照ctrl+a&ctrl+c拷贝到一个文档里面来，搜索“502”，找到以下报错信息：

……INFO:debug_logger:Warning: ==wangshenzhi/llama3-8b-chinese-chat-ollama-q8 not found==. Using cl100k_base encoding.INFO:debug_logger:Warning: wangshenzhi/llama3-8b-chinese-chat-ollama-q8 may update over time. Returning num tokens assuming gpt-3.5-turbo-1106.INFO:debug_logger:prompt tokens: 160INFO:debug_logger:streaming: TrueINFO:debug_logger:[{'role': 'user', 'content': '\n- 你是一个耐心、友好、专业的机器人，能够回答用户的各种问题。\n- 根据知识库内的检索结果，以清晰简洁的表达方式回答问题。\n- 不要编造答案，如果答案不在经核实的资料中或无法从经核实的资料中得出，请回答“我无法回答您的问题。”（或者您可以修改为：如果给定的检索结果无法回答问题，可以利用你的知识尽可能回答用户的问题。)\n'}]**INFO:debug_logger:Error calling OpenAI API: Error code: 502**INFO:debug_logger:add_qalog: 我想学习LLM知识，应该从何学起INFO:qa_logger:chat_data: {'user_id': 'zzp', 'bot_id': 'BOT30dbf5e2497549849b5c000a4bdc7e29', 'kb_ids': ['KB0e708ac07d864e40af4d90d7daf341ac', 'KB0e708ac07d864e40af4d90d7daf341ac_FAQ'], ……

看起来是ollama服务没找到我想要用的大模型，想起来自己的ollama服务可能没开起来，把ollama服务启动起来

在mac终端窗口按住control+c结束当前命令
重新输入

bash scripts/run_for_ollama_api_in_M1_mac.sh

重新打开本地页面，依然报错：

#!/bin/bashbash scripts/base_run.sh -s "M1mac" -w 4 -m 19530 -q 8777 -o -b 'http://127.0.0.1:11434/v1' -k 'ollama' -n 'llama3:latest' -l '8000'

敲重点：这里的'llama3:latest' 要与ollama list里带出来的模型名称保持一致！！！
重启应用

cd qanythingconda activate qanything-python
bash scripts/run_for_ollama_api_in_M1_mac.sh

终于成功！

考虑到llama3原生的对中文支持不好，换一个中文微调过的模型。
通过ollama list 找到已经安装到ollama服务里的模型，我这里用的是wangshenzhi/llama3-8b-chinese-chat-ollama-q8:latest；

修改run_for_ollama_api_in_M1_mac.sh文件

#!/bin/bashbash scripts/base_run.sh -s "M1mac" -w 4 -m 19530 -q 8777 -o -b 'http://127.0.0.1:11434/v1' -k 'ollama' -n 'wangshenzhi/llama3-8b-chinese-chat-ollama-q8:latest' -l '8000'

mac终端重启Qanthing服务↓：

bash scripts/run_for_ollama_api_in_M1_mac.sh

Tips（痛苦复盘）：
在启动Qanything服务后，总是报错，后台日志显示了没有找到llama3，本来不以为意，因为我在本地的ollama服务、chatbox、obsidian都是用同样的ollama配置，结果到了Qanything上不起作用。

这类的问题也不稀奇，本人从去年初开始，在体验AI项目特别是开源项目时，遇到了各种坑。这些坑对于LLM的初学者是不太友好的，比如过程中python组件包的各种冲突，会不得不去了解和实践在conda环境、docker中部署，熟悉去使用各种终端命令、代理设置，去找到大佬们的分享文章和视频逐帧对比亦步亦趋部署等等。

但也正因为这些折腾，在实践过程中，才能一点一点理解大模型对话机制（chatbot）、增强检索（RAG）、依赖的环境、资源的消耗等这些光靠看文章所无法直观面对的细节。

在AIGC实践中，找到知识的缝隙，日积月累，必有所获吧。

PS:封面由comfyui生成，提示词是从AIGC社群里看到的：Ink painting style, Simplistic and rough, Comic style, Dynamic, Subtle colors, solid white background, a Chinese young man, black long hair, full body, traditional Chinese clothes