我要投稿

MemoRAG：通过受记忆启发的知识发现迈向下一代RAG

发布日期：2024-09-25 20:05:57 浏览次数： 1655 来源：AI 搜索引擎

今天分享的是一篇由北京人工智能研究院与中国人民大学高瓴人工智能学院联合发布的文章：

MEMORAG: MOVING TOWARDS NEXT-GEN RAG VIA MEMORY-INSPIRED KNOWLEDGE DISCOVERY

MemoRAG：通过受记忆启发的知识发现迈向下一代RAG

论文链接: https://arxiv.org/abs/2409.05591

代码地址：https://github.com/qhjqhj00/MemoRAG

摘要

本篇文章介绍了一种新型的检索增强生成模型——MemoRAG。MemoRAG 采用双系统架构：一方面，它使用轻量但长距离的 LLM 形成数据库的全局记忆。当任务出现时，它生成草稿答案，引导检索工具定位数据库中的有用信息。另一方面，它利用一种复杂但表达能力强的 LLM，根据检索到的信息生成最终答案。它解决了现有 RAG 系统在处理模糊信息需求和非结构化知识方面的局限性。实验表明，MemoRAG 在复杂和简单任务中均表现出色。

方法

上图展示了标准RAG与MemoRAG在处理需要对整个数据库进行深入理解的查询时的比较。在左图中，由于输入查询的隐式性质，标准RAG难以准确定位所需的上下文，从而导致答案不太准确。在右图中，MemoRAG框架引入了一个智能接口，将任务与数据库中的相关知识连接起来。对于每个给定的任务，MemoRAG 会通过记忆模块生成检索线索。这些线索本质上是基于数据库压缩表示（即记忆）生成的草稿答案。尽管可能包含一些错误的细节，但这些线索能够明确揭示任务的底层信息需求。通过将这些线索作为查询，MemoRAG 能够有效地从数据库中检索必要的上下文，从而得出精确而全面的答案。

根据上述机制，记忆模块需要具备以下两点能力：

1 保持性：能够记住整个数据库的全局信息；
2 指导性：能够提供有用的线索以全面检索所需知识。

因此，作者引入了双系统架构，使用轻量的 LLM 作为记忆模块，重型 LLM 用于执行检索增强生成。

MemoRAG框架的工作过程可以表示为：

其中和分别表示生成模型和检索模型。( ) 代表输入查询，( ) 是从相关数据库 ( ) 中检索到的上下文， ( ) 是最终答案，( ) 代表一个可能不完整或缺乏细节的暂定答案，作为一组答案线索，指导从 ( ) 中检索最相关的上下文。

下面将详细介绍每一阶段：

生成线索：

在获取到问题与数据库后，采用记忆模型作为输入查询和相关数据库之间的语义桥梁生成有助于检索的线索。

检索相关文档：

在获取到优化后的检索线索后，通过检索模型在数据库中搜索相关的上下文。

生成答案：

在获取到问题与相关的上下文后，采用生成模型生成最终回答。

实验

本篇文章在三个基准上使用了三种不同的生成器（Llama3-8B-Instruct-8K、Phi-3-mini-128K、Mistral-7B-Instruct-v0.2-32K）测试了MemoRAG的性能，结果表明 MemoRAG 在各种数据集和查询类型上显著提升了标准 RAG 方法和其他基线的性能。

总结

MemoRAG区别于传统RAG系统，它通过引入记忆模块实现对数据库的全局理解，并回忆与查询相关的线索，从而提升检索的准确性和上下文丰富度。这一设计显著增强了MemoRAG在处理复杂任务、模糊信息需求以及非结构化知识时的表现，展示了在处理复杂推理和长文档任务中的巨大潜力，适用于多领域的实际应用

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

RAG框架，都在这了!

2024-06-20

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

大家都在问

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？

2024-11-06

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

2024-11-05

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

2024-11-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

微软研究院新突破：如何让AI在专业领域更靠谱？

2024-10-25

语义分块真的有效吗？

2024-10-21

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

2024-10-21

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

摘要

方法

实验

总结

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

微软开源的GraphRAG解读

深入解析 Graph RAG：提升语言模型问答能力的创新策略

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

RAG框架，都在这了!

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

大家都在问

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

企业如何从0到1构建RAG系统？

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

微软研究院新突破：如何让AI在专业领域更靠谱？

语义分块真的有效吗？

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

热门标签