【引】“枯萎，无法回避，如人之生老病死；荒芜，无法接受，如碌碌无为一生。” 这是周六回乡下除草的感受。有所得，有所感，对工程技术也是如此。

将大文档分割成较小的分块是一项关键而复杂的任务，对RAG系统的性能有着重大的影响。一般地，RAG系统旨在通过将基于检索的方法和基于生成的方法相结合，提高产出的质量和相关性。有多种框架提供了文档分块方法，每种方法都有自己的优点和典型用例。或许，利用主题感知的句子嵌入来识别文档中的主题变更，确保每个块封装一个主题会是一种不错的选择。

1.回顾RAG

RAG系统是一个复杂的机器学习模型，它融合了基于检索的技术和生成式AI。RAG 系统的主要目标是通过合并从数据集中检索的信息来提高生成内容的质量和相关性。回顾一下 RAG 系统的工作原理:

• 检索阶段: 系统首先根据输入查询检索相关文档或信息。这个阶段依赖于搜索算法和索引方法来快速识别大量集合中最相关的数据。

• 生成阶段: 一旦检索到相关文档，就会使用一个通常是基于transformer的大语言模型，如 GPT-4来创建一个连贯的、与上下文相适应的响应。此模型使用检索到的信息来确保生成的内容是准确的，而且信息丰富。

RAG 系统的混合特性使它们对于知识密集型任务特别有效，在这些任务中，检索和生成的结合极大地提高了总体性能。关于RAG 的更多信息，可以参考《大模型系列——解读RAG》和《RAG的10篇论文-2024Q1》。

2. 常见的文本分块技术

文本分块是许多自然语言处理任务的基础步骤，可以采用多种技术来确保分块方式保留了语义和上下文。根据任务的具体要求，可以以多种方式来实现文本分块，下面是针对不同需求分块方法:

2.1 按字符分块

此方法将文本分解为单个字符。它适用于需要细粒度文本分析的任务，例如字符级语言模型或某些类型的文本预处理。

2.2 按Token分块

将文本分割成token，是自然语言处理中的一种标准方法。基于令牌的组块对于文本分类、语言建模和其他依赖于token化输入的 NLP 应用程序等任务来说是必不可少的。

2.3 按段落分块

按段落分段整理文本有助于维护文档的整体结构和流程。此方法适用于需要较大上下文的任务，如文档摘要或内容提取。

2.4 递归分块

这涉及到重复地将数据分解成更小的块，通常用于分层数据结构。递归组块有利于需要多级分析的任务，如主题建模或层次聚类。

2.5 语义分块

根据意义而非结构元素对文本进行分组对于需要理解数据上下文的任务至关重要。语义块利用诸如句子嵌入等技术来确保每个块代表一个连贯的主题或想法。

2.6 代理分块

这种方法的重点是在识别和分组文本的基础上增加参与的代理，如人或组织。它在信息抽取和实体识别任务中非常有用，因为理解不同实体之间的角色和关系非常重要。

3.基于Langchain的文本分块技术——5行代码

Langchain 框架中提供了很多可以开箱即用的技术，常见的文本分块技术如下:

• 递归字符分块

• token分块

• 句子分块

• 正则分块 

• Markdown分块

3.1 递归字符文本分块

此方法基于字符数来递归地分割文本。每个块都保持在指定的长度以下，这对于具有自然段落或句子间断的文档特别有用，确保了块的可管理性和易于处理性，而不会丢失文档的固有结构。

Langchain中的递归字符文本分割器方法根据字符数将文本分割成块，以确保每个块低于指定的长度。这种方法有助于保持文档中段落或句子的自然断开。

from langchain.text_splitter import RecursiveCharacterTextSplitter

text = " long document text here..."

# 初始化 RecursiveCharacterTextSplitter，块大小1k字符以及50个跨文本字符
charSplitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=50)

# 分块
chunks = charSplitter.split_text(text)

# 打印输出
for chunk in chunks:
print(chunk)

3.2 Token文本分块

这种技术使用token划分文档，token可以是单词或词元。在处理具有token限制的大语言模型时，它确保了每个块都符合模型的约束。在自然语言处理任务中，通常使用基于token分块来保持文本的完整性，同时遵守模型的限制。

from langchain.text_splitter import TokenSplitter

text = " long document text ..."

# 初始化TokenSplitter，最大token限制为 512
splitter = TokenSplitter(max_tokens=512)

chunks = splitter.split_text(text)

for chunk in chunks:
print(chunk)

3.3 句子分块

通过在句子边界上分割文本，保持了文本的上下文完整性。句子通常代表完整的思想，这使得这种方法非常适合那些对内容有连贯理解的场景。

from langchain.text_splitter import SentenceSplitter

text = "long document text ..."

# 初始化SentenceSplitter ，每个块最多5个句子
splitter = SentenceSplitter(max_length=5)

chunks = splitter.split_text(text)

for chunk in chunks:
print(chunk)

3.4 正则分块

此方法使用正则表达式来自定义拆分点。它为各种用例提供了最高的灵活性，允许用户根据特定于他们的用例模式来拆分文档。例如，可以在特定关键字或标点符号的每个实例上文档拆分。

from langchain.text_splitter import RegexSplitter

# Example long document text
text = "Your long document text goes here..."

# 用一个模式初始化 RegexSplitter，以双换行符分割文本
splitter = RegexSplitter(pattern=r'\n\n+')

chunks = splitter.split_text(text)

for chunk in chunks:
print(chunk)

3.5 Markdown 的文档分块

该方法专为 markdown文档定制，根据特定元素(如标题、列表和代码块)分割文本，保留了标记文档的结构和格式，使其适合于技术文档和内容管理。

from langchain.text_splitter import MarkdownSplitter

text = "long markdown document..."

splitter = MarkdownSplitter()

chunks = splitter.split_text(text)

for chunk in chunks:
print(chunk)

4. 面向主题的分块技术

大型文档，如学术论文、长篇报告和详细文章，通常包含多个主题。langchain中的分割技术，都难以准确识别主题转换点。这些方法经常会错过细微的转换或错误地识别它们，导致分块重叠。

面向主题的分块技术旨在使用句子嵌入来识别文档中主题的变化。通过标识主题转移的位置，确保每个块封装一个单一的、连贯的主题，具体包括：

• 句子嵌入: 句子嵌入将句子转换成高维向量，从而捕捉句子的语义。通过分析这些向量，我们可以确定主题变化的点。

• 主题检测: 使用为主题建模的相关算法，检测主题的变化并确定分割文档的最佳点。这确保了每个块在主题上是一致的。

• 增强的检索和嵌入: 通过确保每个块代表一个主题，RAG 系统中的检索和嵌入步骤变得更加有效。每个块的嵌入更有意义，从而提高检索性能和响应的准确性。

这种技术已经在过去主题建模的场景下得到了证明，但是它同样适用于 RAG 系统。通过采用这种方法，RAG 系统可以在其生成的内容中实现更高的准确性和相关性，使其更有效地完成复杂和知识密集型的任务。

4.1 生成句子嵌入

可以使用Sentence-BERT (SBERT) 为单个句子生成嵌入，这些嵌入是密集的向量表示，封装了句子的语义内容，使我们能够衡量它们的相似性。

from sentence_transformers import SentenceTransformer

sentences = ["Sentence 1...", "Sentence 2...", ...]

model = SentenceTransformer('paraphrase-MiniLM-L6-v2')

embeddings = model.encode(sentences)

4.2 计算相似度

句子之间的相似度是通过余弦距离或者其他距离度量来衡量的，比如曼哈顿或者欧氏距离。这有助于识别连续句之间的连贯性。

from sklearn.metrics.pairwise import cosine_similarity

similarity_matrix = cosine_similarity(embeddings)

4.3. 差异评分

为了检测主题转换，我们定义了一个参数 n，指定要比较的句子数。该算法根据余弦距离计算差距得分。

import numpy as np

#定义参数 
n = 2

# 计算差异评分
gap_scores = []
for i in range(len(embeddings) - n):
similarity = cosine_similarity(embeddings[i:i+n], embeddings[i+n:i+2*n])
gap_scores.append(np.mean(similarity))

为了解决差异分数中的噪声，可以采用平滑算法，窗口大小 k 决定了平滑的程度。

# 定义窗口大小 k
k = 3

# 平滑差异评分
smoothed_gap_scores = np.convolve(gap_scores, np.ones(k)/k, mode='valid')

4.4 边界检测

通过分析平滑后的差距得分来识别局部极小值，这表明潜在的话题转换，可以用阈值来确定重要的边界。

# 检测本地极小值
local_minima = (np.diff(np.sign(np.diff(smoothed_gap_scores))) > 0).nonzero()[0] + 1


# 设置阈值 c
C = 1.5

# 确定显著的界限

significant_boundaries = [i for i in local_minima if smoothed_gap_scores[i] < np.mean(smoothed_gap_scores) - c * np.std(smoothed_gap_scores)]

4.5 分段的聚类

对于较长的文档，类似的主题可能会重新出现。为了处理这个问题，使用类似的内容聚类算法，可以减少冗余并确保每个主题都是唯一表示的。

from sklearn.cluster import KMeans

# 转化为embedding
segment_embeddings = [np.mean(embeddings[start:end], axis=0) for start, end in zip(significant_boundaries[:-1], significant_boundaries[1:])]

# Kmeans 聚类示例
kmeans = KMeans(n_clusters=5)
clusters = kmeans.fit_predict(segment_embeddings)

这里的代码只是示意， 还可以通过自动参数优化、采用 transformer 模型、基于知识图谱的层次分类等方法来进一步增强面向主题感知的分块技术。

5.一句话小结

在RAG系统中， 文本分块技术是必不可少的。对于大型文档而言，可以尝试采用面向主题感知的句子嵌入来提升RAG 系统的性能，使其生成更相关且一致的内容。