AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


开源RAG工具kotaemon搭建私域ChatQA
发布日期:2024-08-29 06:02:28 浏览次数: 1755


今天介绍一个涨star贼快的项目kotaemon,它是一个开源的干净且可定制的RAG UI,可用于构建自己的文档聊天应用。开发人员可以从项目中学习RAG整个流程实战;终端使用人员可以0代码部署自己个人基于RAG的QA应用。
这个项目为想要对文档进行QA的最终用户和想要构建自己的RAG管道的开发人员提供功能性的RAG UI:
  • 对于最终用户:
    • 一个干净且简约的用户界面,用于基于RAG的QA。
    • 支持 LLM API 提供程序(OpenAI、AzureOpenAI、Cohere 等)和本地 LLM (ollama和llama-cpp-python的模型)
    • 简单的安装脚本。
  • 对于开发人员:
    • 用于构建您自己的基于 RAG 的文档 QA 管道的框架。
    • 使用提供的 UI(使用 Gradio 构建)自定义并查看 RAG 管道的运行情况。

使用界面

基于 Gradio 构建,您可以根据需要自由自定义/添加任何 UI 元素。此外,我们的目标是支持多种文档索引和检索策略。GraphRAG索引管道作为示例提供。

主要特点

  • 托管您自己的文档 QA (RAG) web-UI。支持多用户登录,在私人/公共收藏中组织您的文件,与他人协作并分享您最喜欢的聊天。

  • 整理你的LLM和嵌入模型。支持本地LLMs和流行的API提供商(OpenAI, Azure, Ollama, Groq)。

  • 混合 RAG 管道。Sane 默认的 RAG 管道,带有混合(全文和向量)检索器 + 重新排名,以确保最佳检索质量。

  • 多模式 QA 支持。通过数字和表格支持在多个文档上执行问答。支持多模态文档解析(UI 上的可选选项)。

  • 通过文档预览推进引文。默认情况下,系统会提供详细的引文以确保 LLM 答案的正确性。直接在浏览器内的 PDF 查看器中查看您的引文(包括相关分数),并突出显示。当检索管道返回低相关文章时发出警告。

  • 支持复杂的推理方法。使用问题分解来回答复杂/多跃点问题。使用 ReAct、ReWOO 和其他代理支持基于代理的推理。

  • 可配置的设置 UI。您可以在UI上调整检索和生成过程的最重要方面(包括提示)。

  • 可扩展。基于 Gradio 构建,您可以根据需要自由自定义/添加任何 UI 元素。此外,我们的目标是支持多种文档索引和检索策略。GraphRAG索引管道作为示例提供。

使用起来

在新的 python 环境中克隆并安装所需的软件包。

# optional (setup env)conda create -n kotaemon python=3.10conda activate kotaemon
# clone this repogit clone https://github.com/Cinnamon/kotaemoncd kotaemon
pip install -e "libs/kotaemon[all]"pip install -e "libs/ktem"

启动 Web 服务器:

python app.py

默认用户名/密码为:admin/admin .您可以直接在 UI 上设置其他用户。

进一步配置请查看:(可以方便的复制到新机器上,也可以在系统中替换自己的RAG模块)

https://github.com/Cinnamon/kotaemon

体验地址:

https://huggingface.co/spaces/taprosoft/kotaemon


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询