AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


现有RAG框架非完全总结:7个GraphRAG+17个传统RAG框架归纳
发布日期:2024-11-30 07:37:24 浏览次数: 1665 来源:老刘说NLP


今天是2024年11月18日,星期一,北京,天气晴。

我们先来回顾相关进展。

关于产业进展,代码辅助工具,PearAI ,https://trypear.ai/,提供了代码自动生成、智能代码预测、代码编辑聊天、代码记忆提升、智能代码搜索等功能,还内置了Perplexity、Memo等其他AI工具,这其实加剧了如cursor等同质产品的竞争。

此外,关于AI搜索进展,腾讯推出AI搜索ima,不知道跟元宝是啥关系,搜索得出的答案,除开全网信源,还打通微信公众号文章的生态,所以AI搜索一类的产品,本质上是内容生态跟搜索底子的pk。

所以,即便是外面的形势一直在变,但我们总会有一些东西是不变的,例如,有很多现成的开源工具依旧在推,例如,在开源项目 (https://www.wangrs.site/awesome-LLM-resourses) 中,我们可以看到一些较好的RAG框架,目前有的,其实远不止这些。

按照目前RAG发展的态势,可以进一步将现有RAG框架分为7个GraphRAG框架以及17个传统RAG框架,虽然很多是重复造轮子,但大家可以通过研读其实现代码,了解起内部实现机制,会很有收获。

一、十七个传统RAG框架

传统的RAG框架,指的是集chunk切分、向量化、存储、检索、生成等几个阶段于一体的RAG框架,其核心在于其中的不同策略适应,如文档处理、检索策略等,代表性的如RAGFlow(深度文档理解),也包括QAnything(重排rerank引入),也包括可高度配置的Dify等,大致雷同,下面归置17个:

1、AnythingLLM,具备完整的RAG(检索增强生成)和AI代理能力。地址:https://github.com/Mintplex-Labs/anything-llm

2、MaxKB,基于大型语言模型的知识库问答系统。即插即用,支持快速嵌入到第三方业务系统。地址:https://github.com/1Panel-dev/MaxKB

3、RAGFlow,一个基于深度文档理解的开源RAG(检索增强生成)引擎。地址:https://github.com/infiniflow/ragflow

4、Dify,一个开源的大型语言模型应用开发平台。Dify直观的界面结合了AI工作流、RAG流程、代理能力、模型管理、可观测性功能等,让您能快速从原型阶段过渡到生产阶段。地址:https://github.com/langgenius/dify

5、FastGPT,基于LLM构建的知识型平台,提供即开即用的数据加工和模型调用能力,允许通过流程可视化进行工作流编排。地址:https://github.com/labring/FastGPT

6、Langchain-Chatchat,基于Langchain和ChatGLM等不同大模型的本地知识库问答。地址:https://github.com/chatchat-space/Langchain-Chatchat

7、QAnything,基于Anything的问题和答案。地址:https://github.com/netease-youdao/QAnything

8、Quivr,使用Langchain、GPT 3.5/4 turbo、Private、Anthropic、VertexAI、Ollama、LLMs、Groq等与文档(PDF、CSV等)和应用程序交互,本地和私有的替代OpenAI GPTs和ChatGPT。地址:https://github.com/QuivrHQ/quivr

9、RAG-GPT,RAG-GPT利用LLM和RAG技术,从用户自定义的知识库中学习,为广泛的查询提供上下文相关的答案,确保快速准确的信息检索。地址:https://github.com/open-kf/rag-gpt

10、Verba,由Weaviate驱动的检索增强生成(RAG)聊天机器人。地址:https://github.com/weaviate/Verba

11、FlashRAG,一个用于高效RAG研究的Python工具包。地址:https://github.com/RUC-NLPIR/FlashRAG

12、LightRAG,检索器-代理-生成器式的RAG框架。地址:https://github.com/SylphAI-Inc/LightRAG

13、kotaemon,一个开源的干净且可定制的RAG UI。地址:https://github.com/Cinnamon/kotaemon,

14、RAGapp,在企业中使用Agentic RAG的最简单方式。地址:https://github.com/ragapp/ragapp

15、TurboRAG,通过预计算的KV缓存加速检索增强生成,适用于分块文本。地址:https://github.com/MooreThreads/TurboRAG

16、TEN,实时多模态AI代理框架。地址:https://github.com/TEN-framework/ten_framework

17、AutoRAG,RAG AutoML工具。地址:https://github.com/Marker-Inc-Korea/AutoRAG

二、七个GraphRAG框架

GraphRAG框架这是流行于微软的GraphRAG,然后后续出现了很多轻量化的改进版本,如LightRAG、nano-GraphRAG,也有一些具有特色的版本,如KAG,其核心思想是在原先传统RAG的基础上,增加实体、社区、chunk之间的关联,或者原有KG的知识,从而提升召回和准确性。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询