微信扫码
与创始人交个朋友
我要投稿
今年夏天,我们首先迎来了Graph RAG的发布,这是一个用于高级搜索和嵌入的终极RAG引擎。
Graph RAG是一个数据管道和转换套件,旨在利用LLM的强大功能从非结构化文本中提取有意义的结构化数据。
?接着,我们迎来了目前最好的RAG引擎——Hybrid RAG,它能够简单地结合知识图谱和向量检索。
HybridRAG:混合 RAG 引擎 - 知识图谱 + 向量检索!比 GraphRAG 更好!
这使得它比Graph RAG更强大。Hybrid RAG在答案的忠实度、相关性以及上下文回忆方面表现出色,这得益于结合了朴素的余弦相似性搜索和知识图谱检索。
令人惊讶的是,Graph RAG和Hybrid RAG的发布仅相隔一个月,这展示了技术发展的速度。
唯一的问题是,这两者都很难配置,启动起来需要大量时间。对于普通用户来说,这无疑是个难以逾越的门槛。
但不用担心。有一个新的项目:
?这是一个基于RAG的工具,用于与你的文档聊天,它支持实现Hybrid RAG和Graph RAG。这是一个名为Kotaemon的开源框架,一个新型的RAG UI,用于与文档进行对话,使这些RAG技术的使用过程变得非常简单。
目前,有两种方式可以访问Kotaemon,首先是通过Hugging Face Spaces,这使你能够利用这个演示来开始使用这个新的RAG UI。
?你也可以通过简单下载文件来安装它。你可以前往Kotaemon的文档,点击最新发布的版本后,下载Kotaemon app.zip。
完成后,将你刚刚下载的ZIP文件拖到桌面上。接下来,你需要使用7zip或WinRAR解压该文件,提取出Kotaemon主文件夹后,进入该文件夹,找到Scripts文件夹,然后运行Windows上的dobat命令或文件。
?如果你使用的是Mac OS或Linux,则需要使用与你的操作系统匹配的命令。简单运行它,它会开始安装必要的组件,例如设置你的环境,
并执行所有必要的步骤,几秒钟后,它将在浏览器中打开。
安装完成后,你可以在本地浏览器中打开它,然后它会引导你到这个页面。你需要设置用户名和密码。
为此,你需要找到flow_settings.py文件,
修改变量,设置密码,并获取管理员密码。在flow_settings.py文件中,你会看到可以进行访问设置,这里的默认用户名和密码都是admin,
但你可以通过修改此组件来设置为其他内容。然后回到本地浏览器,输入管理员用户名和密码,点击登录?。
现在,你已经可以访问Kotaemon的UI了。
还有另一种安装方式,适用于开发人员和终端用户,你可以使用Docker进行安装。运行此命令后克隆代码,
或者不使用Docker,直接克隆代码并安装所需的包。
基本上,Kotaemon是一个设计用于提供功能性RAG UI的项目,在这里你可以实现不同的RAG技术,例如Graph RAG、Hybrid RAG以及向量检索。
?这款漂亮的RAG UI提供了多种功能,满足了终端用户和开发人员的需求。你可以使用这个简洁的UI来帮助你完成多种任务,它也可以用于问答、互动式流水线定制等多种用途。现在让我们来看看Kotaemon的功能。
首先,它为你提供了本地托管文档的能力,具有Web UI,多用户可以访问你的门户,你可以进行协作和共享。
你还可以组织LMS和嵌入模型,这非常实用。它支持本地和基于API的模型,并且兼容本地LMS和一些流行提供商,例如ollama、Groq、 OpenAI。
你还可以实现混合RAG流水线,包括我们之前提到的高质量检索系统,如Graph RAG或Hybrid RAG。
还支持多模态问答,这对文档解析、图表和表格处理非常理想。正如你在这里看到的,它能够处理所有数据,甚至可以利用视觉模型来分析这些特定类型的数据集。
它还具有高级引用和文档审查功能,这是一个详细的引用过程,提供全面的引用信息,确保LLMS生成答案的准确性。
你还可以在浏览器中的PDF查看器中查看这些引用,包括相关的资源,浏览器会直接显示并突出显示所有必要的来源。
你还可以支持复杂的推理方法,提供基于代理的推理。这对于使用像React、ReAct等代理的高级推理方法非常理想。
LangGPT:这个Prompt顶级思维框架(RAG、结构化)有时间一定要看看
它还关注问题分解,处理不同的复杂或多跳问题。
另一个很棒的功能是扩展框架,它非常可定制,基于Gradio开发,提供了更多灵活性,允许用户根据需要轻松添加或修改UI元素。
这对于想要将其扩展到企业应用场景的各种企业来说非常有用。你甚至可以让它支持多种索引和检索策略,包括所有不同的索引流水线作为示例,甚至还计划支持其他策略。
现在简要展示一下UI,你有一个聊天组件,你可以与文档对话,只需在这里上传你的文档,你就可以在右侧面板看到输出结果。
还可以进入文件选项卡来管理你的知识库。
你还有一个Graph RAG集合,这是另一种技术,
你可以在资源选项里看到所有资源以及所有LMMS提供商。你只需添加LMMS的名称、供应商,
如果你想实现嵌入模型,也可以在这里进行配置。
在设置标签中,你可以添加更多用户,配置不同的检索设置,甚至配置Graph RAG集合设置。你还可以专注于推理设置,这会通过系统提示生成不同的输出,你有问答提示,并可以设置生成时包含的交互次数。
如果你需要帮助,你可以点击帮助按钮,这会带你到他们开发的文档,帮助你配置和使用这个UI。
首先,如果你想使用这个工具,你需要进入文件选项卡并上传文件。
你可以通过Graph RAG集合或文件集合来完成此操作,文件集合支持多种文件类型,因此在这方面非常出色。
它会开始对你的文件进行索引,这意味着它会开始分块并使用你选择的Graph技术,以获得最佳检索结果。
索引完成后,你可以在这里看到上传的文件列表,然后你可以进入聊天选项卡开始与它聊天。
你还需要进入资源选项卡,添加你的LMMS,
配置并添加API密钥,选择你想要使用的模型,然后点击保存。你还可以实现OpenAI嵌入,因为你在使用OpenAI模型。
完成这些步骤后,你可以进入文件或聊天选项卡,开始与文档聊天。
基本上,这就是Kotaemon,它是一个非常棒的开源RAG UI,允许你在其UI组件中实现Hybrid RAG和Graph RAG。
往期推荐
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-23
FastRAG半结构化RAG实现思路及OpenAI O1-long COT蒸馏路线思考
2024-11-23
检索增强生成(RAG):解密AI如何融合记忆与搜索
2024-11-23
如何提高RAG系统准确率?12大常见痛点及巧妙解!
2024-11-23
RAG 2.0性能提升:优化索引与召回机制的策略与实践
2024-11-22
RAG技术在实际应用中的挑战与解决方案
2024-11-22
从普通RAG到RAPTOR,10个最新的RAG框架
2024-11-22
如何使用 RAG 提高 LLM 成绩
2024-11-21
提升RAG性能的全攻略:优化检索增强生成系统的策略大揭秘 | 深度好文
2024-07-18
2024-05-05
2024-07-09
2024-05-19
2024-07-09
2024-06-20
2024-07-07
2024-07-07
2024-07-08
2024-07-09
2024-11-06
2024-11-06
2024-11-05
2024-11-04
2024-10-27
2024-10-25
2024-10-21
2024-10-21