【RAG论文】RAG中半结构化数据的解析和向量化方法

发布日期：2024-05-12 22:49:20 浏览次数： 1764

论文简介

论文题目：《A Method for Parsing and Vectorization of Semi-structured Data used in Retrieval Augmented Generation》

论文链接：https://arxiv.org/abs/2405.03989

代码: https://github.com/linancn/TianGong-AI-Unstructure/tree/main

这篇论文提出了一种新方法，用于解析和向量化半结构化数据，以增强大型语言模型（LLMs）中的检索增强生成（RAG）功能。但是读下来感觉并不是很“新”，基本是常见文本解析的流程，不过通过论文效果图看起来不同文件解析效果还可以，并且公开了源码，大家可以借鉴下。

论文方案

这篇论文通过以下步骤解决提高大型语言模型（LLMs）在特定领域性能的问题：

数据准备：首先，将多种来源的数据（包括书籍、报告、学术文章和数据表）编译成.docx格式。.docx格式因其标准化、高质量的文本、易于编辑、广泛的兼容性和丰富的元数据内容而被选为处理和提取结构化数据的首选格式。
自动化解析和分割：使用基于深度学习的对象检测系统（如detectron2）将.docx文件分割为多个元素，包括标题、文本、图像、表格、页眉和页脚。然后，通过特定的数据清洗过程，进一步筛选和整理这些元素，以提高模型效率。
块化（Chunking）：利用“Unstructured Core Library”中的chunk_by_title函数，将文档系统地分割成不同的子部分，将标题作为章节标记，同时保留文档的详细结构。
向量数据库构建：使用OpenAI的“text-embedding-ada-002”模型通过API生成与特定内容相对应的嵌入向量，并将这些向量存储在Pinecone的向量数据库中。这样配置的数据库能够进行相似性搜索，并且在数据存储容量上有显著优势。
实验和讨论：通过选取中英文的学术论文和书籍进行测试，展示了所使用方法和RAG技术的有效性。测试包括文本处理结果、图像处理结果和表格处理结果，以及在RAG环境下进行的零样本问答（Zero-shot Question Answering）结果。
结果评估：使用GPT 4.0处理选定的文档，并生成一系列问题，然后对这些问题进行评分，以客观衡量向量知识库在增强语言模型领域特定知识方面的有效性。

解析效果

论文
电子书
图片
表格
html

问答效果

论文代码

对每个文件格式写了不同的处理方式，可以借鉴下，但不是想象中的完全自动化或者智能化

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

o1新模型数据乐观，现实却打脸？

2024-09-16

OpenAI发布最强o1大模型！让大模型真正具备了复杂推理能力？

2024-09-16

大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?

2024-09-16

实测OpenAI的o1：真没吹牛，奥数题高考题都能信手拈来了？

2024-09-15

疯狂24h后，openai o1有哪些新的秘密？

2024-09-14

OpenAI的o1模型会带来哪些影响和机会？

2024-09-14

AI能具备人类的责任感吗？

2024-09-14

OpenAI o1带来的新的机会在哪？

2024-09-14

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

论文代码

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

万字长文解析：大模型需要怎样的硬件算力

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

o1新模型数据乐观，现实却打脸？

OpenAI发布最强o1大模型！让大模型真正具备了复杂推理能力？

大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?

实测OpenAI的o1：真没吹牛，奥数题高考题都能信手拈来了？

疯狂24h后，openai o1有哪些新的秘密？

OpenAI的o1模型会带来哪些影响和机会？

AI能具备人类的责任感吗？

OpenAI o1带来的新的机会在哪？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

论文代码

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

万字长文解析：大模型需要怎样的硬件算力

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

o1新模型数据乐观，现实却打脸？

OpenAI发布最强o1大模型！让大模型真正具备了复杂推理能力？

大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?

实测OpenAI的o1：真没吹牛，奥数题高考题都能信手拈来了？

疯狂24h后，openai o1有哪些新的秘密？

OpenAI的o1模型会带来哪些影响和机会？

AI能具备人类的责任感吗？

OpenAI o1带来的新的机会在哪？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示