我要投稿

RAPTOR 检索树再次进一步提升RAG性能的设计思路

发布日期：2024-07-25 20:57:45 浏览次数： 2155

大多数现有方法仅从检索语料库中检索短的连续块，限制了对整个文档上下文的整体理解。RAPTOR（Recursive Abstractive Processing for Tree-Organized Retrieval）引入了一种新方法，即递归嵌入、聚类和总结文本块，从下往上构建具有不同总结级别的树。在推理时，RAPTOR 模型从这棵树中检索，整合不同抽象级别的长文档中的信息。RAPTOR（Recursive Abstractive Processing for Tree-Organized Retrieval）比传统的检索增强型 LM 性能与绝对准确度上提高 20%。

开源地址：https://github.com/parthsarthi03/raptor

论文地址：https://arxiv.org/abs/2401.18059

一、RAPTOR 检索树的构建过程

RAPTOR模型的精髓在于其树状结构的构建，这一过程通过精心设计的递归算法实现，形成了一个层次分明的多层级树形架构。这种结构不仅显著提升了模型对长文本信息的处理能力，更使得对复杂文本内容的理解和检索变得高效而精准。通过递归的方式，RAPTOR能够逐步细化文本信息的粒度，从而确保在多个层次上都能捕捉到关键信息，为后续的文本分析和应用奠定了坚实的基础。

下面我将对具体步骤进行详细的说明：

首先，需要对文本进行合理的切片处理。这里需要注意选择合适的切片算法很重要，建议参考主流框架的实现方案。
然后，RAPTOR 根据其语义embedding递归地对文本块chunk进行聚类，并生成这些聚类的文本摘要。
RAPTOR采用软聚类方法，允许文本块跨多个聚类，基于高斯混合模型（GMMs）和UMAP技术进行降维，以捕捉文本数据的复杂结构和关系，从而优化文本聚类效果。
RAPTOR通过递归的向量分析，精准地对文本块进行聚类，并提炼出这些聚类的核心摘要，自下而上地构建出一个结构化的树形模型。在此树中，相近的节点自然聚集形成兄弟关系，而它们的父节点则承载着整个集群的概要性文本信息。这种设计确保了文本信息的层次化和结构化表达，便于理解和检索。

二、RAPTOR 的检索过程

这里有两种方式实现，基于深度检索树(树遍历)和 广度检索树(折叠树)

深度检索树从树的根级别开始，根据与查询向量的余弦相似度检索顶层的 top-k (这里为 top-1) 节点。在每一层，它根据与查询向量的余弦相似度从上一层的 top-k 节点的子节点中检索 top-k 节点。这个过程一直重复，直到达到叶节点。最后，将所有选定节点的文本连接起来形成检索到的上下文。
广度检索树方法将整个树压缩成单一层，然后根据与查询向量的余弦相似度评估所有层的节点，直到达到设定阈值。

三、开源项目案例应用示例

# 安装，在使用 RAPTOR 之前，请确保已安装 Python 3.8+。克隆 RAPTOR 存储库并安装必要的依赖项：git clone https://github.com/parthsarthi03/raptor.gitcd raptorpip install -r requirements.txt
# 开始使用 RAPTOR，请按照以下步骤操作：# 首先，设置您的 OpenAI API 密钥并初始化 RAPTOR 配置：import osos.environ["OPENAI_API_KEY"] = "your-openai-api-key"
from raptor import RetrievalAugmentation
# Initialize with default configuration. For advanced configurations, check the documentation. [WIP]RA = RetrievalAugmentation()
# 将您的文本文档添加到 RAPTOR 进行索引：with open('sample.txt', 'r') as file:text = file.read()RA.add_documents(text)
# 现在可以使用 RAPTOR 根据索引文档回答问题：question = "How did Cinderella reach her happy ending?"answer = RA.answer_question(question=question)print("Answer: ", answer)
# 将构造好的树保存到指定路径：SAVE_PATH = "demo/cinderella"RA.save(SAVE_PATH)
# 将保存的树重新加载到 RAPTOR 中：RA = RetrievalAugmentation(tree=SAVE_PATH)answer = RA.answer_question(question=question)

总结

RAPTOR在RAG中的优化为我们提供了一个全新的视角和工具，使我们能够更高效地利用海量信息，更精准地检索和生成高质量的内容。随着技术的不断进步和完善，相信RAPTOR将在未来为我们带来更多惊喜和可能性。注意以上是我个人的理解，如果想深入了解可以阅读论文。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

大家都在问

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

为什么分块在RAG技术中很重要？但又很没有存在感？

2024-12-14

比GraphRAG还好的LightRAG到底是何方神圣？

2024-12-01

企业级RAG应用的5大技术发展趋势，你准备好了吗？

2024-11-27

RAG搭建中，如何选择最合适的向量索引？

2024-11-25

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？