一、背景介绍

1. 文档检索系统的现状与痛点

1. 文档长度过长：现代文档往往包含大量信息，例如企业的内部报告、法律文书、科研论文等。如果直接将长文档嵌入到向量空间中进行检索，容易出现信息冗余，甚至降低检索的效率和精度。

2. 检索精度不高：许多文档检索系统在面对较长的文档时难以精准匹配用户的查询。这种情况下，用户的查询结果往往与其期望值有偏差，尤其是在查询较短且具体时，直接检索长文档难以提供理想的答案。

3. 上下文连贯性差：为了提高检索精度，系统可能会将文档细分为更小的块。然而，这种做法往往会牺牲上下文的连贯性，导致用户在获得片段化信息时无法完整理解文档的内容。

二、技术原理

1. 文档分割

• Parent Chunks 分割：首先，将文档分割成较大的文本块，称为 Parent Chunks。每个 Parent Chunk 代表文档中的一个较大部分，通常包含多个段落或章节，大小可根据需求进行调整，常见设定为 2000 个字符左右。通过这样的分割，系统能够在保证上下文连贯性的同时，保持信息的整体性。

• Child Chunks 分割：每个 Parent Chunk 进一步细分为更小的块，称为 Child Chunks。每个 Child Chunk 通常包含一个段落或几句话，大小同样可以根据需求设定，一般为 400 个字符。这一分割方式既能保留 Parent Chunk 的上下文关系，又能提高检索的精度。

2. 向量嵌入

• Child Chunks 嵌入：使用预训练的模型（例如 BERT、GPT 等）将每个 Child Chunk 转换为向量。这些向量代表了文本块的语义信息，可以通过向量检索算法来进行比对和匹配。

• 保持关联关系：Child Chunks 与其对应的 Parent Chunk 保持关联，在后续的检索过程中可以对 Parent Chunk 进行合并，确保用户获取的信息上下文连贯。这种多层次分割结构不仅提高了检索的精度，还能保持文档整体的连贯性。

3. 检索过程

• Query 嵌入：用户的查询被转换为向量形式，并与存储在数据库中的 Child Chunk 向量进行匹配。

• Child Chunks 搜索：在向量数据库中搜索与查询向量相似的 Child Chunks。通过这种方式，系统能够精准匹配用户的查询，尤其是在短查询的情况下，Child Chunk 的检索精度更高。

• Parent Chunks 确定：根据检索到的 Child Chunks，系统可以快速定位这些子块所属的 Parent Chunks，确保用户能够获得与查询上下文相关的完整信息。

4. 结果合并

• 合并 Parent Chunks：当检索结果返回多个相关的 Child Chunks 时，系统会自动合并这些子块对应的 Parent Chunks，形成一个完整的文档部分。

• 排序和过滤：为了确保用户获得最相关的结果，系统会对返回的 Parent Chunks 进行排序和过滤，以保证用户看到的内容是最符合其查询需求的。

三、应用场景

1. 电子商务搜索

2. 知识库检索

3. 法律和医疗文献检索

4. 问答系统

四、具体步骤详解

1. 文档分割

from langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain_community.document_loaders import TextLoader
# 加载文档loaders = [TextLoader("example_data/FDR_State_of_Union_1944.txt"),TextLoader("example_data/Lincoln_State_of_Union_1862.txt"),]docs = []for loader in loaders:docs.extend(loader.load())
# 创建Parent Chunksparent_splitter = RecursiveCharacterTextSplitter(chunk_size=2000)# 创建Child Chunkschild_splitter = RecursiveCharacterTextSplitter(chunk_size=400)

2. 向量嵌入

from langchain_community.vectorstores import Chromafrom langchain_openai import OpenAIEmbeddingsfrom langchain.storage import InMemoryStore
# 创建向量存储vectorstore = Chroma(collection_name="split_parents", embedding_function=OpenAIEmbeddings())# 创建存储层store = InMemoryStore()
# 创建检索器retriever = ParentDocumentRetriever(vectorstore=vectorstore,docstore=store,child_splitter=child_splitter,parent_splitter=parent_splitter,)
# 添加文档retriever.add_documents(docs)

3. 检索过程

# 获取存储的文档数量print(len(list(store.yield_keys())))
# 搜索相似的Child Chunkssub_docs = vectorstore.similarity_search("justice breyer")print(sub_docs[0].page_content)
# 获取相关的Parent Chunksretrieved_docs = retriever.get_relevant_documents("justice breyer")print(len(retrieved_docs[0].page_content))

五、总结