我要投稿

RAG文本切分五个层次3：不同文档切分之JSON(实战)

发布日期：2024-08-14 04:45:23 浏览次数： 1696

前面文章提到，我们将文本切分划分为五个层级，并介绍了前两个层级的实现和一些基础知识。本篇文章开始，我们将介绍第三个层级的内容，基于文档结构的切分，这个级别是关于让我们的分块策略适合不同的数据格式。

文本切分五个层级：

Level 1: Character Splitting - 简单的字符长度切分
Level 2: Recursive Character Text Splitting - 通过分隔符切分，然后递归合并
Level 3: Document Specific Splitting - 针对不同文档格式切分 (PDF, Python, Markdown)
Level 4: Semantic Splitting - 语义切分
Level 5: Agentic Splitting-使用代理实现自动切分

我们在日常数据处理中，不仅仅有txt数据，还包含一些存在结构的数据，例如json、markdown、代码(例如py)、PDF等。今天让我们看看如何处理JSON数据，后续将挑重点介绍。

langchain实现

切分逻辑

首先遍历json数据深度，然后构建更小的json块。试图保持嵌套json对象的完整，但在需要的时候会将它们分开，以保持块的大小在min_chunk_size和max_chunk_size之间。

如果值不是一个嵌套的json，而是一个非常大的字符串，那么字符串将不会被分割。如果您需要对块大小进行硬性限制，请考虑在这些块上使用递归文本分配器来组合它。拆分列表有一个可选的预处理步骤，首先将它们转换为json (dict)，然后拆分它们。

加载测试数据

import requestsfrom pprint import pprint
# This is a large nested json object and will be loaded as a python dictjson_data = requests.get("https://api.smith.langchain.com/openapi.json").json()

加载后的json_data是一个很大的json文件，我们看看怎么切分它：

定义切分器

from langchain_text_splitters import RecursiveJsonSplitter
splitter = RecursiveJsonSplitter(max_chunk_size=300)# 还可以设置min_chunk_size

切分文档

json_chunks = splitter.split_json(json_data=json_data)

可以看出按最内层进行了分割，paths的每一条，被分割成了多条。

列表切分

当json里面有一个大列表时，按上述方法会完整保留，这样就会导致片段的长度超长。怎么解决这个问题呢？我们可以指定convert_lists=True来预处理json，将列表内容转换为index:item作为key:val对的字典:

json_chunks = splitter.split_json(json_data=json_data, convert_lists=True)

可以看到，在存在列表的位置，将列表转化为了dict，key为元素所在的位置。langchain中的实现，我们介绍到这，下面看看llama-index是怎么处理的：

llama-index实现

定义切分器

import jsonfrom llama_index.core.node_parser import JSONNodeParserfrom llama_index.core import Document
parser = JSONNodeParser()

切分文档

nodes = parser.get_nodes_from_documents(  [Document(text=json.dumps(json_data))]  )

可以看出，llama_index将json切分成了一个个小块。我们可以进一步做切分处理。

JSON的切分就讲到着，大家感觉是不是很有用呢？下篇文章我们将继续分享。

如果对内容有什么疑问和建议可以私信和留言，也可以添加我加入大模型交流群，一起讨论大模型在创作、RAG和agent中的应用。

好了，这就是我今天想分享的内容。如果你对大模型应用感兴趣，别忘了点赞、关注噢~

往期推荐

RAG文本切分的五个层次1：字符切分基础(实战)

RAG文本切分的五个层次2：递归字符分割(实战)

支持大模型流式输出的JSON提取工具

一文读懂token到底是什么鬼，消耗那么多钱？

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

微软开源的GraphRAG解读

2024-07-09

RAG框架，都在这了!

2024-06-20

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

源码解读 - 微软GraphRAG框架

2024-07-14

大家都在问

在长上下文LLM的时代，RAG是否仍然必要？

2024-09-20

大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?

2024-09-16

使用千帆完全免费的大模型，去构建Graph RAG，效果如何？

2024-09-12

RAG领域出现技术创新，或将引领AI搜索重大变革？

2024-09-11

大模型分不清 9.9 与 9.11 谁大，那 Embedding 模型呢？

2024-09-10

一文看懂GraphRAG与传统RAG的7大区别及融合方案，你会怎么选择？

2024-09-09

最近爆火的GraphRAG是什么，真的能用于商业应用吗？

2024-09-07

你的工作流程被 AI 颠覆了吗？

2024-09-04

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制