粤ICP备17114055号
微信扫码
添加专属顾问
支持私有云部署
我要投稿
文本切分五个层级：
Level 1: Character Splitting - 简单的字符长度切分
Level 2: Recursive Character Text Splitting - 通过分隔符切分，然后递归合并
Level 3: Document Specific Splitting - 针对不同文档格式切分 (PDF, Python, Markdown)
Level 4: Semantic Splitting - 语义切分
Level 5: Agentic Splitting-使用代理实现自动切分
我们在日常数据处理中，不仅仅有txt数据，还包含一些存在结构的数据，例如json、markdown、代码(例如py)、PDF等。今天让我们看看如何处理JSON数据，后续将挑重点介绍。
langchain实现
import requestsfrom pprint import pprint# This is a large nested json object and will be loaded as a python dictjson_data = requests.get("https://api.smith.langchain.com/openapi.json").json()
from langchain_text_splitters import RecursiveJsonSplittersplitter = RecursiveJsonSplitter(max_chunk_size=300)# 还可以设置min_chunk_size
json_chunks = splitter.split_json(json_data=json_data)json_chunks = splitter.split_json(json_data=json_data, convert_lists=True)可以看到，在存在列表的位置，将列表转化为了dict，key为元素所在的位置。langchain中的实现，我们介绍到这，下面看看llama-index是怎么处理的：
llama-index实现
import jsonfrom llama_index.core.node_parser import JSONNodeParserfrom llama_index.core import Documentparser = JSONNodeParser()
切分文档
nodes = parser.get_nodes_from_documents([Document(text=json.dumps(json_data))])
可以看出，llama_index将json切分成了一个个小块。我们可以进一步做切分处理。
JSON的切分就讲到着，大家感觉是不是很有用呢？下篇文章我们将继续分享。
如果对内容有什么疑问和建议可以私信和留言，也可以添加我加入大模型交流群，一起讨论大模型在创作、RAG和agent中的应用。
好了，这就是我今天想分享的内容。如果你对大模型应用感兴趣，别忘了点赞、关注噢~
往期推荐
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-03-09
为什么RAG系统要拥抱向量检索？揭示关键字检索的致命弱点！
2025-03-09
不要盲目再使用DeepSeek R1和QWQ这些推理模型做RAG了
2025-03-07
r1-reasoning-rag：一种新的 RAG 思路
2025-03-05
提高企业 RAG 准确性的分步指南
2025-03-05
DeepSeek-R1 x Agentic RAG：构建带"深度思考"开关的知识研究助理｜深度长文
2025-03-05
通过Milvus内置Sparse-BM25算法进行全文检索并将混合检索应用于RAG系统
2025-03-05
本地部署DeepSeek R1 + Ollama + XRAG：三步搭建RAG系统，并解锁全流自动化评测
2025-03-05
Graph RAG 迎来记忆革命：“海马体”机制如何提升准确率？
2024-09-04
2024-10-27
2024-07-18
2024-05-05
2024-06-20
2024-06-13
2024-07-09
2024-07-09
2024-05-19
2024-07-07
2025-03-05
2025-03-03
2025-03-02
2025-02-28
2025-02-24
2025-02-23
2025-02-15
2025-02-12
回到顶部