构建高性能RAG：文本分割核心技术详解

本文深入浅出地介绍了5种文本分割方法，帮助你更好地处理大规模文本数据

引言

检索增强生成（RAG）是提升AI应用性能的关键技术，而优秀的文本分割策略则是RAG的基石。

然而，真实场景中的挑战不少：各类文档格式需要不同处理方式，不当的分割会导致上下文丢失、检索效果差、成本上升...这些都制约着RAG的效果。

本文将为你详细介绍5个层次的文本分割技术，帮助你应对各种场景，构建更高效的RAG系统。

核心原则：分割的艺术

在开始之前，请牢记文本分割的黄金法则：

分割的目的不是为了分割而分割，而是为了让数据能够被更好地检索和利用。

第一层：字符分割法

基本概念

• • 分块大小：每个文本块的字符数量

• • 重叠长度：相邻文本块之间共享的字符数量

优势与局限

✅ 优势：

• • 实现简单直接

• • 适合处理格式统一的纯文本

❌ 局限：

• • 可能切割语义完整的句子

• • 不考虑文本的自然结构

实战示例

text_splitter = CharacterTextSplitter(
    chunk_size = 35,
    chunk_overlap = 4,
    separator = ''
)

第二层：递归字符分割法

这种方法更智能，它会按照一系列分隔符逐级分割文本：

1. 1. 段落分隔符（\n\n）

2. 2. 句号分隔符（。）

3. 3. 逗号分隔符（，）

4. 4. 空格

5. 5. 字符

使用场景

• • 处理结构化文档

• • 需要保持语义完整性

• • 文本具有明显的层级结构

第三层：文档特定分割法

针对不同类型的文档采用专门的分割策略：

Markdown文档

Markdown文档的分割需要考虑其特殊的格式结构，按以下优先级顺序进行分割：

1. 1. 标题分隔符：

\n#{1,6} - 一级到六级标题

1. 1. 代码块分隔符：

```\n - 代码块起始/结束

1. 1. 水平线分隔符：

\n\\*\\*\\*+\n - 星号型水平线
\n---+\n - 短线型水平线
\n___+\n - 下划线型水平线

1. 1. 段落分隔符：

\n\n - 双换行（段落间隔）
\n - 单换行

1. 1. 基础分隔符：

" " - 空格
"" - 单字符

Python代码

Python代码的分割需要考虑其语法结构，按以下优先级顺序进行分割：

1. 1. 类和函数定义：

\nclass - 类定义
\ndef - 函数定义
\n\tdef - 缩进的方法定义

1. 1. 代码块结构：

\n\n - 双换行（代码块间隔）
\n - 单换行

1. 1. 基础分隔符：

" " - 空格
"" - 单字符

实战示例：

from langchain.text_splitter import PythonCodeTextSplitter

python_text = """
class Person:
    def __init__(self, name, age):
        self.name = name
        self.age = age

    def greet(self):
        print(f"Hello, {self.name}")

for i in range(10):
    print(i)
"""

python_splitter = PythonCodeTextSplitter(chunk_size=100, chunk_overlap=0)

JavaScript代码

JavaScript代码分割需要考虑其特有的语法特征，按以下优先级顺序进行分割：

1. 1. 函数和变量声明：

\nfunction - 函数声明
\nconst - 常量声明
\nlet - 变量声明
\nvar - 变量声明
\nclass - 类声明

1. 1. 控制流语句：

\nif - if语句
\nfor - for循环
\nwhile - while循环
\nswitch - switch语句
\ncase - case分支
\ndefault - default分支

1. 1. 代码块结构：

\n\n - 双换行
\n - 单换行

1. 1. 基础分隔符：

" " - 空格
"" - 单字符

PDF文档

• • 表格识别与处理

• • 图文混排处理

• • 保持格式信息

第四层：语义分割法

这是一种更高级的分割方法，它考虑文本的实际含义：

工作原理

1. 1. 计算文本片段的语义向量

2. 2. 分析相邻片段的语义相似度

3. 3. 在语义差异较大处进行分割

实现技巧

from sklearn.metrics.pairwise import cosine_similarity
distances = cosine_similarity([embedding_current], [embedding_next])[0][0]

第五层：智能代理分割法

这是最前沿的分割方法，使用AI代理来动态决定分割点：

核心步骤

1. 1. 提取文本中的关键命题

2. 2. 评估语义连贯性

3. 3. 智能确定分割边界

优势特点

• • 更好的语义理解

• • 自适应分割策略

• • 上下文感知能力

技术要点总结

1. 分隔符速查表

基础字符分割

• • 固定字符数

• • 重叠长度设置

• • 简单直接但不考虑语义

递归字符分割

• • \n\n - 段落分隔

• • \n - 换行分隔

• • " " - 空格分隔

• • "" - 字符分隔

Markdown文档

• • \n#{1,6} - 标题分隔

• • ````\n` - 代码块分隔

• • \n\\*\\*\\*+\n - 水平线分隔

• • \n---+\n - 短线分隔

• • \n___+\n - 下划线分隔

Python代码

• • \nclass - 类定义

• • \ndef - 函数定义

• • \n\tdef - 缩进方法

• • \n\n - 代码块间隔

• • \n - 单行分隔

JavaScript代码

• • \nfunction - 函数声明

• • \nconst/\nlet/\nvar - 变量声明

• • \nclass - 类声明

• • \nif/\nfor/\nwhile - 控制流

• • \nswitch/\ncase/\ndefault - 分支语句

2. 分割策略选择指南

3. 性能优化建议

1. 1. 分块大小选择

• • 文本：300-1000字符

• • 代码：100-500字符

• • Markdown：按段落结构

• • 通常设置为分块大小的10-20%

• • 代码分割可以设置较小重叠

• • 语义分割需要较大重叠

• • 分割后的语义完整性

• • 检索准确率

• • 处理性能和效率

4. 常见问题解决方案

1. 1. 大文件处理

• • 采用流式处理

• • 分批次处理

• • 使用异步操作

• • 表格：考虑结构化提取

• • 图片：使用多模态处理

• • 混合内容：组合多种分割策略

• • 使用缓存机制

• • 优化分割算法

• • 并行处理

5. 未来展望

1. 1. 技术趋势

• • 更智能的语义理解

• • 多模态分割整合

• • 自适应分割策略

• • 知识图谱构建

• • 智能问答系统

• • 文档自动化处理

实践建议

1. 1. 从简单开始，逐步优化

2. 2. 重视评估和测试

3. 3. 结合实际场景选择策略

4. 4. 保持技术更新和学习

延伸阅读

1. 1. LangChain文档：分割器详细说明

2. 2. Llama Index：高级分割策略

3. 3. RAGAS：评估框架使用指南 

【作者简介】 本文作者专注于AI应用开发，对大语言模型应用有深入研究。欢迎关注获取更多技术文章。

这里可以查看各种分块策略的预览效果: https://chunkviz.up.railway.app/