我要投稿

Docs2KG：基于大模型的非结构化异构文档统一知识图谱自动构建

发布日期：2024-06-21 18:05:31 浏览次数： 2045 来源：PaperAgent

目前市场上的一些工具专注于检索增强生成 (RAG) 流程或如何让大型语言模型 (LLM) 在本地运行。更广泛的社区包括个人用户、小型企业，甚至大型企业。其中一些人可能已经开发了知识库，这些数据都是非结构化的，并且分布在不同的地方。

通过结合PDF文件和Excel文件，演示查询“显示所有与2011年和2021年发生的事件相关的文档及其组成部分。” PDF文件包含2011年至2021年香港的人口规模和结构信息。Excel文件包含2021年至2023年的人口普查记录。（青色表示PDF文档；绿色用于Excel文件；红色为PDF页面；卡其色为标题；海洋蓝为段落）

鉴于非结构化和异构数据的性质，信息提取和知识表示带来了重大挑战。因此提出了Docs2KG，这是一个新颖的框架，旨在从多种异构非结构化数据源（包括电子邮件、网页、PDF文件和Excel文件）中提取多模态信息。Docs2KG 动态生成表示提取信息的统一知识图谱，从而实现高效的数据查询和探索。与专注于特定数据源或预先设计的模式的现有方法不同，Docs2KG提供了一种灵活且可扩展的解决方案，可以适应各种文档结构和内容类型。所提出的框架不仅简化了数据处理，而且还提高了跨不同领域的模型的可解释性。

Docs2KG总体架构

双路数据处理会处理来自多个来源的数据。有些数据，例如导出的PDF文件、Excel文件等，可以通过编程解析器进行处理。所以一般会先转换成markdown，然后再转换成统一知识图谱。对于扫描的PDF、图片等数据，需要借助文档布局分析和OCR来提取信息，然后将提取的信息转换成markdown，然后根据输出生成统一的多模态知识图谱。

布局知识图谱

文档的布局有助于我们理解文档的结构。
因此，在统一的多模态知识图谱中体现它也是必要且重要的。

语义知识图谱

当阅读文献时，大脑会对语义联系感兴趣的部分。
在LLM的帮助下，可以尝试从文档中提取语义联系。
这可以帮助人类从语义角度更好地理解文档。

Docs2KG实施的系统架构

总体步骤包括：

数据处理

双路径数据处理
将来自不同来源、不同格式的文档转换为 Markdown、CSV、JSON 等。

统一的多模态知识图谱构建
GraphDB加载器

将统一的多模态知识图谱加载到GraphDB 中
使用Neo4j作为GraphDB

下游应用基于向量的RAG：

首先获取每个节点的嵌入，然后使用查询的嵌入进行相似性搜索以提取图内的锚节点。使用这些节点作为锚节点，进行多跳信息提取来增强查询。使用LLM根据增强查询进行最终生成。

https://arxiv.org/pdf/2406.02962Docs2KG: Unified Knowledge Graph Construction from Heterogeneous Documents Assisted by Large Language Modelspip install Docs2KGhttps://docs2kg.ai4wa.com/

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

大家都在问

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

为什么分块在RAG技术中很重要？但又很没有存在感？

2024-12-14

比GraphRAG还好的LightRAG到底是何方神圣？

2024-12-01

企业级RAG应用的5大技术发展趋势，你准备好了吗？

2024-11-27

RAG搭建中，如何选择最合适的向量索引？

2024-11-25

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？