手搓KIMI的机会来了！蚂蚁首个Graph RAG 框架开源啦！

发布日期：2024-07-15 10:43:05 浏览次数： 2699

著名的检索增强生成应用kimi,估值已经达到了180亿美元。

现在，你也有机会手搓一个属于自己的kimi啦！

KIMI走的是检索增强生成路线，简称RAG：Retrieval Augmented Generation，它就是把信息检索与大模型结合，以缓解大模型推理“幻觉”的问题。

RAG的目标是通过知识库增强内容生成的质量，通常做法是将检索出来的文档作为提示词的上下文，一并提供给大模型让其生成更可靠的答案。更进一步地，RAG的整体链路还可以与提示词工程（Prompt Engineering）、模型微调（Fine Tuning）、知识图谱（Knowledge Graph）等技术结合，构成更广义的RAG问答链路。

但是呢，它也会有一些其他问题，比如

知识库内容缺失，截断有用文档，上下文整合丢失，有用信息未识别，提示词格式问题，准确性不足，答案不完整

比如，最经典的RAG架构，首先是索引，就是向量嵌入，然后是检索，进行相似查询，最后是生成文档上下文

除了传统意义上的增强内容生成，RAG的理念还可以做很多事情，比如：增强训练，增强微调，增强语料，增强知识，增强检索，增强推理

类似地，Graph RAG的核心链路也分如下三个阶段：

第一是索引，通过LLM服务实现文档的三元组提取，写入图数据库。

第二是检索：通过LLM服务实现查询的关键词提取和泛化（大小写、别称、同义词等），并基于关键词实现子图遍历（DFS/BFS），搜索N跳以内的局部子图。

第三是生成：将局部子图数据格式化为文本，作为上下文和问题一起提交给大模型处理。

开源的AI工程框架有诸多选型：LangChain、LlamaIndex、RAGFlow、DB-GPT等。知识图谱系统有：Jena、RDF4J、Oxigraph、OpenSPG等。图存储系统有Neo4j、JanusGraph、NebulaGraph、TuGraph等。

而作为蚂蚁首个对外开源的Graph RAG框架所有环节均采用蚂蚁全自主的开源产品：DB-GPT + OpenSPG + TuGraph。一个可以支持RAG的AI工程框架，一个知识图谱系统和一个图存储系统。

有兴趣的小伙伴，快去看一下吧！

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

微软开源的GraphRAG解读

2024-07-09

RAG框架，都在这了!

2024-06-20

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

源码解读 - 微软GraphRAG框架

2024-07-14

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?

2024-09-16

使用千帆完全免费的大模型，去构建Graph RAG，效果如何？

2024-09-12

RAG领域出现技术创新，或将引领AI搜索重大变革？

2024-09-11

大模型分不清 9.9 与 9.11 谁大，那 Embedding 模型呢？

2024-09-10

一文看懂GraphRAG与传统RAG的7大区别及融合方案，你会怎么选择？

2024-09-09

最近爆火的GraphRAG是什么，真的能用于商业应用吗？

2024-09-07

你的工作流程被 AI 颠覆了吗？

2024-09-04

AI应用中基于语音驱动的RAG如何做？

2024-08-30

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯