颠覆传统RAG，创新大模型检索增强—Insight-RAG

推荐语

Insight-RAG：引领大模型检索增强技术的革新，深度挖掘信息，提升整合数据质量。

核心内容：
1. 传统RAG在检索深度和多源信息整合上的局限性
2. Insight-RAG框架的创新点：洞察力识别器和挖掘器的功能与优势
3. 响应生成器如何结合查询与检索内容，生成高质量回答

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

RAG已经成为大模型的标题，但传统方法存在检索深度不足、难以整合多源信息等弊端，例如，传统 RAG 依赖表面相关性检索文档，容易忽略单个文档内深埋的信息。在法律协议中，会忽略微妙的合同条款；在商业报告里，错过隐藏的数据趋势。

所以，Megagon实验室的研究人员提出了一种创新框架Insight-RAG，从而更好地捕捉任务特定的细微信息，整合的数据质量也更高。

洞察力识别器是Insight-RAG框架的第一步，其核心任务是从输入查询中提取关键的信息需求。通过分析输入的查询和任务背景，识别出完成任务所需的核心信息。

例如，如果任务是回答一个关于特定科学概念的问题，洞察力识别器会提取出问题中涉及的关键实体和关系，并将其转化为一个可以被后续模块理解的“洞察力”。

洞察力识别器会将输入的查询转化为一个句子片段，这个句子片段是一个未完成的句子，需要后续模块来补充完整。例如，对于问题“Person X的出生地是哪里？”洞察力识别器会提取出“Person X was born in”这样的句子片段。该格式不仅简化了问题的表达，还为后续模块提供了明确的检索方向。

此外，洞察力识别器还会判断问题的答案是否为多个。例如，如果问题是“加利福尼亚有哪些城市？”由于问题中使用了复数形式的名词，因此答案应该是多个城市。这一判断将作为后续模块处理问题的依据。

洞察力挖掘器是Insight-RAG框架的第二步，其任务是根据洞察力识别器提取的句子片段，从文档数据库中检索出与之高度相关的具体内容。这一模块的核心是一个经过专门训练的大型语言模型，该模型通过持续预训练的方式，学习如何从大量文档中提取与任务相关的见解。

研究人员使用LLaMA-3.2 3B模型作为洞察力挖掘器，并对其进行了持续预训练。

预训练过程中，模型不仅学习了原始文档的内容，还学习了从文档中提取的三元组信息。这种双重训练方式使得模型能够更好地理解文档中的语义关系，并能够根据输入的句子片段检索出与之高度相关的具体内容。

响应生成器是Insight-RAG框架的最后一步，其任务是将原始查询与洞察力挖掘器检索到的具体内容结合起来，生成一个上下文丰富且准确的回答。这一模块的核心是一个经过微调的大型语言模型，通过整合原始查询和检索到的见解，生成一个完整的回答。

例如，如果原始问题是“Person X的出生地是哪里？”洞察力识别器提取出的句子片段是“Person X was born in”，而洞察力挖掘器检索到的具体内容是“New York”，那么响应生成器将生成一个完整的回答：“Person X的出生地是纽约。”

响应生成器的设计使得Insight-RAG框架能够生成高质量的回答，不仅考虑了文档中的表面相关性，还深入挖掘了文档中的语义信息。这种设计使得Insight-RAG框架在处理复杂任务时表现得更加出色。

为了评估Insight-RAG框架的性能，研究人员使用了AAN和OC两个科学论文数据集进行了综合测试。

结果显示，Insight-RAG框架在深层信息检索任务中表现出色。与传统的RAG方法相比，Insight-RAG在大多数情况下都能显著提高准确率。例如，在AAN数据集中，Insight-RAG的准确率比传统RAG方法提高了约60%。

Insight-RAG框架在多源信息聚合任务中同样表现非常好。与传统的RAG方法相比，Insight-RAG能够更有效地聚合来自多个来源的信息，从而提高模型的性能。例如，在OC数据集中，Insight-RAG的准确率比传统RAG方法提高了约50%。

本文素材来源Insight-RAG论文，如有侵权请联系删除

END