微信扫码
与创始人交个朋友
我要投稿
今天是2024年11月18日,星期一,北京,天气晴。
我们先来回顾相关进展。
关于产业进展,代码辅助工具,PearAI ,https://trypear.ai/,提供了代码自动生成、智能代码预测、代码编辑聊天、代码记忆提升、智能代码搜索等功能,还内置了Perplexity、Memo等其他AI工具,这其实加剧了如cursor等同质产品的竞争。
此外,关于AI搜索进展,腾讯推出AI搜索ima,不知道跟元宝是啥关系,搜索得出的答案,除开全网信源,还打通微信公众号文章的生态,所以AI搜索一类的产品,本质上是内容生态跟搜索底子的pk。
所以,即便是外面的形势一直在变,但我们总会有一些东西是不变的,例如,有很多现成的开源工具依旧在推,例如,在开源项目 (https://www.wangrs.site/awesome-LLM-resourses) 中,我们可以看到一些较好的RAG框架,目前有的,其实远不止这些。
按照目前RAG发展的态势,可以进一步将现有RAG框架分为7个GraphRAG框架以及17个传统RAG框架,虽然很多是重复造轮子,但大家可以通过研读其实现代码,了解起内部实现机制,会很有收获。
传统的RAG框架,指的是集chunk切分、向量化、存储、检索、生成等几个阶段于一体的RAG框架,其核心在于其中的不同策略适应,如文档处理、检索策略等,代表性的如RAGFlow(深度文档理解),也包括QAnything(重排rerank引入),也包括可高度配置的Dify等,大致雷同,下面归置17个:
1、AnythingLLM,具备完整的RAG(检索增强生成)和AI代理能力。地址:https://github.com/Mintplex-Labs/anything-llm
2、MaxKB,基于大型语言模型的知识库问答系统。即插即用,支持快速嵌入到第三方业务系统。地址:https://github.com/1Panel-dev/MaxKB
3、RAGFlow,一个基于深度文档理解的开源RAG(检索增强生成)引擎。地址:https://github.com/infiniflow/ragflow
4、Dify,一个开源的大型语言模型应用开发平台。Dify直观的界面结合了AI工作流、RAG流程、代理能力、模型管理、可观测性功能等,让您能快速从原型阶段过渡到生产阶段。地址:https://github.com/langgenius/dify
5、FastGPT,基于LLM构建的知识型平台,提供即开即用的数据加工和模型调用能力,允许通过流程可视化进行工作流编排。地址:https://github.com/labring/FastGPT
6、Langchain-Chatchat,基于Langchain和ChatGLM等不同大模型的本地知识库问答。地址:https://github.com/chatchat-space/Langchain-Chatchat
7、QAnything,基于Anything的问题和答案。地址:https://github.com/netease-youdao/QAnything
8、Quivr,使用Langchain、GPT 3.5/4 turbo、Private、Anthropic、VertexAI、Ollama、LLMs、Groq等与文档(PDF、CSV等)和应用程序交互,本地和私有的替代OpenAI GPTs和ChatGPT。地址:https://github.com/QuivrHQ/quivr
9、RAG-GPT,RAG-GPT利用LLM和RAG技术,从用户自定义的知识库中学习,为广泛的查询提供上下文相关的答案,确保快速准确的信息检索。地址:https://github.com/open-kf/rag-gpt
10、Verba,由Weaviate驱动的检索增强生成(RAG)聊天机器人。地址:https://github.com/weaviate/Verba
11、FlashRAG,一个用于高效RAG研究的Python工具包。地址:https://github.com/RUC-NLPIR/FlashRAG
12、LightRAG,检索器-代理-生成器式的RAG框架。地址:https://github.com/SylphAI-Inc/LightRAG
13、kotaemon,一个开源的干净且可定制的RAG UI。地址:https://github.com/Cinnamon/kotaemon,
14、RAGapp,在企业中使用Agentic RAG的最简单方式。地址:https://github.com/ragapp/ragapp
15、TurboRAG,通过预计算的KV缓存加速检索增强生成,适用于分块文本。地址:https://github.com/MooreThreads/TurboRAG
16、TEN,实时多模态AI代理框架。地址:https://github.com/TEN-framework/ten_framework
17、AutoRAG,RAG AutoML工具。地址:https://github.com/Marker-Inc-Korea/AutoRAG
GraphRAG框架这是流行于微软的GraphRAG,然后后续出现了很多轻量化的改进版本,如LightRAG、nano-GraphRAG,也有一些具有特色的版本,如KAG,其核心思想是在原先传统RAG的基础上,增加实体、社区、chunk之间的关联,或者原有KG的知识,从而提升召回和准确性。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-04
如何为RAG应用选择最佳Embedding模型
2024-12-04
Neo4j×Milvus:手把手教你搭建GraphRAG Agent
2024-12-04
别再用PostgreSQL了,Milvus才是多语言RAG的最佳搭档
2024-12-03
RAG系统中的困境:上下文不是想加就能加的
2024-12-03
FastRAG:高效半结构化数据处理新范式,轻松提升检索生成效率
2024-12-03
Gitee AI+Dify 双剑合璧,打造另类 RAG 知识库
2024-12-03
详细的Agentic RAG的前世今生
2024-12-02
微软最新研究:RAG(Retrieval-Augmented Generation)的四个级别深度解析
2024-07-18
2024-05-05
2024-05-19
2024-06-20
2024-07-09
2024-07-09
2024-07-07
2024-07-07
2024-07-08
2024-07-09
2024-12-01
2024-11-27
2024-11-25
2024-11-06
2024-11-06
2024-11-05
2024-11-04
2024-10-27