我要投稿

RAG文本切分五个层次3：不同文档切分之JSON(实战)

发布日期：2024-08-14 04:45:23 浏览次数： 1924 来源：哎呀AIYA

前面文章提到，我们将文本切分划分为五个层级，并介绍了前两个层级的实现和一些基础知识。本篇文章开始，我们将介绍第三个层级的内容，基于文档结构的切分，这个级别是关于让我们的分块策略适合不同的数据格式。

文本切分五个层级：

Level 1: Character Splitting - 简单的字符长度切分
Level 2: Recursive Character Text Splitting - 通过分隔符切分，然后递归合并
Level 3: Document Specific Splitting - 针对不同文档格式切分 (PDF, Python, Markdown)
Level 4: Semantic Splitting - 语义切分
Level 5: Agentic Splitting-使用代理实现自动切分

我们在日常数据处理中，不仅仅有txt数据，还包含一些存在结构的数据，例如json、markdown、代码(例如py)、PDF等。今天让我们看看如何处理JSON数据，后续将挑重点介绍。

langchain实现

切分逻辑

首先遍历json数据深度，然后构建更小的json块。试图保持嵌套json对象的完整，但在需要的时候会将它们分开，以保持块的大小在min_chunk_size和max_chunk_size之间。

如果值不是一个嵌套的json，而是一个非常大的字符串，那么字符串将不会被分割。如果您需要对块大小进行硬性限制，请考虑在这些块上使用递归文本分配器来组合它。拆分列表有一个可选的预处理步骤，首先将它们转换为json (dict)，然后拆分它们。

加载测试数据

import requestsfrom pprint import pprint
# This is a large nested json object and will be loaded as a python dictjson_data = requests.get("https://api.smith.langchain.com/openapi.json").json()

加载后的json_data是一个很大的json文件，我们看看怎么切分它：

定义切分器

from langchain_text_splitters import RecursiveJsonSplitter
splitter = RecursiveJsonSplitter(max_chunk_size=300)# 还可以设置min_chunk_size

切分文档

json_chunks = splitter.split_json(json_data=json_data)

可以看出按最内层进行了分割，paths的每一条，被分割成了多条。

列表切分

当json里面有一个大列表时，按上述方法会完整保留，这样就会导致片段的长度超长。怎么解决这个问题呢？我们可以指定convert_lists=True来预处理json，将列表内容转换为index:item作为key:val对的字典:

json_chunks = splitter.split_json(json_data=json_data, convert_lists=True)

可以看到，在存在列表的位置，将列表转化为了dict，key为元素所在的位置。langchain中的实现，我们介绍到这，下面看看llama-index是怎么处理的：

llama-index实现

定义切分器

import jsonfrom llama_index.core.node_parser import JSONNodeParserfrom llama_index.core import Document
parser = JSONNodeParser()

切分文档

nodes = parser.get_nodes_from_documents(  [Document(text=json.dumps(json_data))]  )

可以看出，llama_index将json切分成了一个个小块。我们可以进一步做切分处理。

JSON的切分就讲到着，大家感觉是不是很有用呢？下篇文章我们将继续分享。

如果对内容有什么疑问和建议可以私信和留言，也可以添加我加入大模型交流群，一起讨论大模型在创作、RAG和agent中的应用。

好了，这就是我今天想分享的内容。如果你对大模型应用感兴趣，别忘了点赞、关注噢~

往期推荐

RAG文本切分的五个层次1：字符切分基础(实战)

RAG文本切分的五个层次2：递归字符分割(实战)

支持大模型流式输出的JSON提取工具

一文读懂token到底是什么鬼，消耗那么多钱？

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

微软开源的GraphRAG解读

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

RAG框架，都在这了!

2024-06-20

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

大家都在问

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？

2024-11-06

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

2024-11-05

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

2024-11-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

微软研究院新突破：如何让AI在专业领域更靠谱？

2024-10-25

语义分块真的有效吗？

2024-10-21

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

2024-10-21

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

定义切分器

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

微软开源的GraphRAG解读

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

深入解析 Graph RAG：提升语言模型问答能力的创新策略

RAG框架，都在这了!

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

大家都在问

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

企业如何从0到1构建RAG系统？

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

微软研究院新突破：如何让AI在专业领域更靠谱？

语义分块真的有效吗？

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

热门标签