我要投稿

RAG预处理增强：让Fastgpt/Dify召回更多东西

发布日期：2024-09-15 16:06:52 浏览次数： 1595

目前的Fastgpt，Dify(或者其他同类产品)，目前知识库召回的本质上还是分片块的文本，召回的还是文本信息。不过，我们可以进行一些预处理，提升其召回精度的同时，使其也能同时召回图片与公式表格等内容。

原理以及实现

我已经将下文提到的所有预处理方法加到pdfdeal包里啦(需要0.2.4或更高版本)，从PYPI上直接下载使用吧：

pip install --upgrade pdfdeal

原理其实也很简单，对于原本的文档(假设是PDF格式)，将其通过转换工具将其转换为Markdown，再对MD文件进行一系列的预处理。整体而言分为三步：

转换文档，这一步中转换源文档中公式和整体结构，如果使用的工具足够强大，表格以及纯图片也应当被保留转换。
拆分段落，这一步将文本按照段落拆分开。对比普遍使用的滑动窗口拆分方式，其能显著加强分块内文本的相关度。
转换图片，这一步将不需要进行OCR的图片(例如示意图)，上传至云储存(例如阿里OSS，S3，云耀R2)，并以Markdown的形式的URL图片替换原有的位置。

题外话：上面说的纯图片是什么

例如下图中蓝色方框部分是表格，应当进行表格识别(此处被识别为HTML格式的表格)，而红色方框部分则是展示的原理图，其不应当被进行OCR，而是应当保留下来。目前主流的转换工具应当都有能力保留。

⚠️注意

从此处开始，默认你已经安装了最新版的pdfdeal包，并且你需要处理的PDF文件放置在./Files文件夹中。

转换文档:PDF转Markdown

考虑Doc2X满足以上的所有需求，即文章结构/公式识别/表格识别/图片保留（以及免费），偷懒就直接用其进行转换了(同时也是pdfdeal包内置的方法)。

Doc2X地址：https://doc2x.noedgeai.com/?inviteCode=4AREZ6

如果你想用其他方法，其他转换工具你可以参见我上一篇文章：将PD知识图谱化：graphrag+Doc2X+DeepSeek

from pdfdeal import Doc2Xfrom pdfdeal.file_tools import get_files, unzips            Client = Doc2X()out_type ="md"file_list, rename_list = get_files(path="./Files", mode="pdf", out=out_type)success, failed, flag = Client.pdf2file(pdf_file=file_list,output_path="./Output",output_names=rename_list,output_format=out_type,)print(success, failed, flag)
zips = []forfilein success:iffile.endswith(".zip"):zips.append(file)
success, failed, flag = unzips(zip_paths=zips)print(success, failed, flag)

你应当得到类似的输出：

['./Output/2408.07888v1.zip', './Output/1706.03762v7.zip'] [{'error': '', 'path': ''}, {'error': '', 'path': ''}] False['./Output/2408.07888v1', './Output/1706.03762v7'] ['', ''] False

拆分段落

大多数RAG应用都会提供自定义段落的功能，我们可以手动添加分隔符使其按照文章的段落进行分段，毕竟一般而言其都是滑动窗口分段(当然也有一些例外，后面会提到)。

直接使用pdfdeal内置的方法，详细请自行参照文档说明。此处我直接使用替换源文件的模式。

# 上接step1中的代码from pdfdeal.file_tools import auto_split_mds                        succese, failed, flag = auto_split_mds(mdpath="./Output", out_type="replace")print(succese, failed, flag)

你应当得到类似的输出：

MD SPLIT: 2/2 files are successfully splited.Note the split string is :=+=+=+=+=+=+=+=+=['./1/1706.03762v7.md', './1/2408.07888v1.md'] [{'error': '', 'file': ''}, {'error': '', 'file': ''}] False

此时再查看MD文档，可以看到其在各个分段直接已经添加上了分隔符了：

转换图片为URL

到目前为止，图片的形式都还是以本地路径呈现的，其样式形如：
![123.jpg](images/123.jpg)
显而易见地，大部分RAG应用并不能显示这些图片,不过我们可以将其上传到云端储存服务从而使其能被召回。同样pdfdeal中也有相应的内置方法(最近才加的功能)。

目前pdfdeal中内置有阿里OSS，Cloudflare R2(其实就是S3协议)的上传方法，当然你也可以使用自定义的上传方程。

此处选择使用阿里OSS，网上一堆开通的教程，首先自行进行开通。其中以下是需要注意的一些权限问题：

记得选择公网可访问…不然没法用：

记得给予密匙OSS的读写权限：

随后转换为URL。注意，以下我默认环境变量中已经有密匙等等变量了，由于选用的是阿里OSS，额外再安装其需要上传的包：

pip install -U oss2

# 上接Step2中的代码from pdfdeal.FileTools.Img.Ali_OSS import Ali_OSSfrom pdfdeal.file_tools import mds_replace_imgsimport os
ossupload = Ali_OSS(OSS_ACCESS_KEY_ID=os.environ.get("OSS_ACCESS_KEY_ID"),OSS_ACCESS_KEY_SECRET=os.environ.get("OSS_ACCESS_KEY_SECRET"),Endpoint=os.environ.get("Endpoint"),Bucket=os.environ.get("Bucket"),)
succese, failed, flag = mds_replace_imgs(path="Output",replace=ossupload,threads=5,)print(succese, failed, flag)

随后再查看MD文档，现在图片已经被替换为URL啦，其在大部分的RAG应用中召回时也能直接显示了：

完整程序

如果你想修改程序，你可以在此处找到库的在线文档：
https://menghuan1918.github.io/pdfdeal-docs/zh/guide/

from pdfdeal import Doc2Xfrom pdfdeal.file_tools import get_files, unzips, auto_split_mds, mds_replace_imgsfrom pdfdeal.FileTools.Img.Ali_OSS import Ali_OSSimport os
Client = Doc2X()out_type ="md"file_list, rename_list = get_files(path="./Files", mode="pdf", out=out_type)success, failed, flag = Client.pdf2file(pdf_file=file_list,output_path="./Output",output_names=rename_list,output_format=out_type,)print(success, failed, flag)
zips = []forfilein success:iffile.endswith(".zip"):zips.append(file)success, failed, flag = unzips(zip_paths=zips)print(success, failed, flag)            
succese, failed, flag = auto_split_mds(mdpath="./Output", out_type="replace")print(succese, failed, flag)
ossupload = Ali_OSS(OSS_ACCESS_KEY_ID=os.environ.get("OSS_ACCESS_KEY_ID"),OSS_ACCESS_KEY_SECRET=os.environ.get("OSS_ACCESS_KEY_SECRET"),Endpoint=os.environ.get("Endpoint"),Bucket=os.environ.get("Bucket"),)
succese, failed, flag = mds_replace_imgs(path="Output",replace=ossupload,threads=5,)print(succese, failed, flag)

接入RAG应用-FastGPT

首先按照正常的知识库导入流程，将上面得到的最后的Markdown文档导入，随后在第二步数据处理的时候选择自定义处理规则，填入分隔符：

可以看到其数据中是严格按照段落分段的：

以下是一个召回的效果演示：

接入RAG应用-Dify

⚠️注意

截止编写时的版本0.7.1，Dify对Markdown文件处理依然存在Bug，无论使用什么设置，其都会自动删除文件中的所有网址以及HTML标签。

请务必将md格式改为txt格式后上传！

你可以访问以下的issue链接查看详细：
https://github.com/langgenius/dify/issues/7228

首先将所有文件的md格式改为txt格式。

随后按照正常的知识库导入流程，随后将上面得到的最后的txt文档导入，随后在第二步数据处理的时候选择自定义处理规则，填入分段标识符：

可以看到其数据中是严格按照段落分段的：

以下是一个召回的效果演示：

召回效果演示

公式/表格召回

虽然其实，这俩能召回，是Doc2X的格式转换的功劳…..实际上和pdfdeal的文件预处理关系不是特别大?

题外话：关于效果

实际上，Fastgpt有单独对Markdown文档做拆分的适配，你可以看到在上面的Fastgpt演示中，#4这一章节的内容较多，因此其被拆分为了几个分块。此时Fastgpt为这几个分块单独在开头添加了章节的标题(而Dify并没有，即使上传MD文档也是这样)。

你可以看到Dify并没有分块添加标题

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

微软开源的GraphRAG解读

2024-07-09

RAG框架，都在这了!

2024-06-20

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

源码解读 - 微软GraphRAG框架

2024-07-14

大家都在问

大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?

2024-09-16

使用千帆完全免费的大模型，去构建Graph RAG，效果如何？

2024-09-12

RAG领域出现技术创新，或将引领AI搜索重大变革？

2024-09-11

大模型分不清 9.9 与 9.11 谁大，那 Embedding 模型呢？

2024-09-10

一文看懂GraphRAG与传统RAG的7大区别及融合方案，你会怎么选择？

2024-09-09

最近爆火的GraphRAG是什么，真的能用于商业应用吗？

2024-09-07

你的工作流程被 AI 颠覆了吗？

2024-09-04

AI应用中基于语音驱动的RAG如何做？

2024-08-30

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制